Ollama und was ich sonst so mit KI anstelle

o-mobil

Moin,
ich bin Anwender von Ollama, einem LLM Host, und habe mir schon einiges mit hilfe von KI automatisiert.
Im Moment quäle ich mich aktuell mit einem RAG, welches zwar prinzipiell läuft, aber noch nicht komplett rund. Bzw das RAG an soch schon , aber der Input ist noch eine Baustelle, naja..wird schon :-)

Nicoletta

Mich würde interessieren was du mit Ollama bereits automatisiert hast und welche Hardware du für Ollama bereitstellst.

SystemMaster

Könnte es zwar Googlen aber frage lieber. Was ist RAG?

o-mobil

SystemMaster 3. Versuch, vorhin scheint der Server hier einen Schluckauf gehabt zu. haben. Ein RAG ist ein Gedächnisspeicher, den du an en LLM andocken kannst. Du dort neues Wissen für das Modell speichern, welches ohne das RAG nicht für das Modell nicht vorhanden wäre. "Normalerweise" müsste das Modell neu trainiert werden, um ihm Wissen zu vermitteln.
So rauchst du aber "nur" ein RAG,
LG Olav

Nicoletta

Ich werde mich jetzt auch mit lokaler KI beschäftigen. Die RechnungsFee soll KI bekommen zur Bildauswertung von Kassenbons.

Für mein Homelab möchte ich Tabellen auswerten lassen und Ergebnisse zusammenfassen.

o-mobil

Nicoletta Guck dir mal die Qwen Modelle an, die sind ziemlich gut in OCR...

LG Olav

Nicoletta

Lieben Dank,

Ich hatte diese hier im Auge:
llama3.2:1b und llama3.2:3b. Je nach Hardware.

o-mobil

Nicoletta und 3B Modelle reichen Dir da aus ? Da würde ich eher vorsichtig sein. Ein Sprachmodell als bessere OCR zu nutzen ist auf der einen Seite Reizvoll, aber wenn die Modelle zu klein sind, fangen die Systeme sehr sehr schnell an zu fantasieren. Für ein Vision Projekt nutze ich ein 8B Modell, und das fantasiert auch ab und zu,sprich t dann plötzlich auf spanisch, obwohl es Deutsch schreiben sollte, oder erfindet irgendwelche Inhalte welche im Bild nicht zu sehen sind. Eine Lösung wäre für mich massiv meine Hardware aufzurüsten, um bessre Modelle schnell laufen lassen zu können.

LG Olav

Nicoletta

ja ich denke es reicht aus.

Warum
weil das Model nicht die Aufgabe bekommt das gesammte OCR zu übernehmen.

Folgende verarbeitungskette habe ich mir überlegt:

Digitale PDF → pdfplumber → Regex → fertig (kein OCR, kein LLM)
Scan/Foto → Tesseract → Rohtext → ollama (wenn verfügbar) → strukturiertes JSON
Fallback → Rohtext → Regex → Rest manuell ausfüllen

o-mobil

Nicoletta
hmm...ja das könnte funktionieren. Da du ja schon die Erkennungsarbeit von Tesseract erledigen lässt. Aber ob die 3B Modelle da reichen...obwohl, da gibt es wohl auch spezielle Modelle: Genau, guck Dir mal an, ob das was für Dich taugt: deepseek-ocr:3b Da könntest du bei dem Foto sogar Tesseract weglassen und direkt an das Modell senden. :-)

Nicoletta

deepseek, oder von microsoft gibt es auch noch ein model.
Der KI Support soll optional sein. Es gibt User die Vorbehalte haben und die will ich nicht ausschliessen die App zu nutzen

Nicoletta

wo finde ich deepseek-ocr:3b. Scheinbar kein Ollama Support.

Mir scheint das das model eher für umfassendes ocr ist. Nur die Bezeichnung 3b finde ich nicht

o-mobil

manchmal ist das mit dem sehen von Wald vor lauter Bäumen nicht so einfach :-) https://ollama.com/library/deepseek-ocr und dann lädst du die 3B Version einfach runter...