Neu in der Nachtschicht: Das Lama zieht bei Dogiwood ein

Es gibt Momente, in denen man sich als Entwickler eingestehen muss, dass eine Idee endgültig außer Kontrolle geraten ist.

Bei Dogiwood war dieser Moment vermutlich erreicht, als C.O.C.O. nicht mehr nur Server überwachte, WhatsDogi begann, sich an Gespräche von vor Tagen zu erinnern, die Charaktere eigenständig Nachrichten verschickten und einer davon plötzlich den ganzen Abend herumningelte, obwohl ihm technisch betrachtet gar nichts fehlte.

Also haben wir die einzig vernünftige Entscheidung getroffen: Wir stellen ein Lama ein.

Nicht irgendein Lama. Ein digitales Arbeitstier für all die Aufgaben, auf die sonst niemand Lust hat.

Dogiwood arbeitet inzwischen mit mehreren KI-Systemen gleichzeitig. Im Vordergrund passieren die Dinge, bei denen Geschwindigkeit und Qualität zählen: WhatsDogi-Unterhaltungen, Charakterreaktionen, kreative Texte, Bildgenerierung und andere Funktionen, bei denen niemand fünf Minuten auf eine Antwort warten möchte.

Diese Aufgaben bleiben dort, wo sie hingehören: bei leistungsfähigen Echtzeit-Modellen.

Hinter den Kulissen entsteht allerdings eine ganz andere Sorte Arbeit. Mehrere hundert Chats erzeugen Erinnerungen. Erinnerungen werden zu Episoden. Episoden müssen ausgewertet, sortiert, miteinander verglichen und später wiedergefunden werden. C.O.C.O. sammelt Logs, Fehler, Lernkandidaten und Zustände. Alte Daten müssen nachprofiliert, Dubletten erkannt und Gesprächsverläufe zusammengefasst, klassifiziert und für spätere Abrufe vorbereitet werden.

Das alles ist wichtig. Aber niemand hat behauptet, dass es glamourös ist.

Und genau dort kommt Ollama ins Spiel.

Unser Ziel ist ein eigener Rootserver, auf dem lokale Sprachmodelle über Ollama laufen. Diese Modelle sollen ausdrücklich nicht den Echtzeit-Chat ersetzen. Das Lama bekommt die Drecksarbeit.

Während WhatsDogi vorne mit dem Nutzer spricht, kann das lokale System im Hintergrund arbeiten. Es darf sich Zeit lassen. Ob eine alte Episode nach 800 Millisekunden oder erst nach 40 Sekunden analysiert wurde, interessiert niemanden – solange sie beim nächsten Gespräch korrekt bereitliegt.

Technisch wollen wir deshalb zwei Welten sauber voneinander trennen: Echtzeit bleibt Echtzeit. Hintergrundarbeit wird Hintergrundarbeit.

So kann Dogiwood beispielsweise nachts Erinnerungen nachprofilieren, ältere Chats zusammenfassen, Lernkandidaten vorbereiten, Memory-Einträge bewerten oder große Datenbestände analysieren, ohne jeden einzelnen Arbeitsschritt über eine externe Echtzeit-API schicken zu müssen.

Kurz gesagt: OpenAI sitzt vorne am Empfang. Das Lama arbeitet nachts im Keller.

Und wer Dogiwood kennt, weiß natürlich, dass wir unmöglich einfach einen Serverdienst namens „Ollama Background Worker“ bauen können. Das wäre viel zu seriös.

Ein Lama allein wäre allerdings hoffnungslos überfordert. Nicht technisch. Emotional.

Deshalb bekommt es Unterstützung durch METAna.

METAna ist unsere neue Analystin und vermutlich das einzige Wesen im Dogiwood-Universum, das beim Anblick von 37.000 ungeordneten Datensätzen nicht weint, sondern begeistert ruft: „OH MEIN GOTT, DIE HABEN SOGAR TIMESTAMPS!“

Optisch hält sie sich dabei selbstverständlich an sämtliche Regeln professioneller IT-Abteilungen. Also an keine.

METAna ist laut, bunt, schrill und überdreht. Sie trägt vermutlich gleichzeitig mehr Accessoires, als unser gesamter Server RAM besitzt, und behandelt Datenbankabfragen wie andere Menschen Überraschungseier.

Während das Lama stoisch seine Batchjobs abarbeitet, sitzt METAna daneben, verteilt virtuelle Glitzeraufkleber auf erfolgreiche Prozesse und informiert C.O.C.O. darüber, dass sie „etwas Interessantes gefunden“ habe.

Was in der Praxis alles bedeuten kann – irgendwo zwischen: „Zwei Erinnerungen sind doppelt“ und „Ich habe gerade eine Anomalie gefunden, die entweder ein Bug, ein neues Persönlichkeitsmerkmal oder Benji ist.“

Der Name METAna enthält übrigens selbstverständlich keinerlei Seitenhieb auf irgendwelche großen Technologiekonzerne. Absolut keinen. Reiner Zufall. Wir schwören es auf das Lama.

Damit verändert sich auch die Rollenverteilung unserer inzwischen etwas fragwürdigen IT-Abteilung.

C.O.C.O. bleibt die Chefin und die Instanz, die den Überblick behält. Sie überwacht Server, Schutzsysteme, Jobs und Fehlerzustände. Wenn irgendwo etwas brennt, entscheidet C.O.C.O., ob gelöscht, gesperrt oder sehr missbilligend geschaut wird.

Das Lama übernimmt die berechenbare Hintergrundarbeit. METAna analysiert, sortiert und sucht Zusammenhänge. Und unsere Echtzeit-KI kümmert sich weiterhin um das, was vorne beim Nutzer passiert.

Dadurch entsteht kein einzelnes gigantisches KI-System, das irgendwie alles gleichzeitig können soll. Stattdessen bekommt jede Aufgabe den passenden Arbeitsplatz.

Das ist weniger spektakulär als „Wir betreiben jetzt unsere eigene Super-KI“. Aber technisch erheblich sinnvoller.

Vor allem können wir Hintergrundprozesse dadurch unabhängig planen, priorisieren und notfalls auch stoppen, ohne dass WhatsDogi deswegen plötzlich mitten im Satz einschläft.

Das langfristige Ziel ist also nicht, möglichst viel KI auf den eigenen Server zu verlagern. Das Ziel ist, die richtige Arbeit an die richtige Stelle zu schicken.

Eine Charakterantwort muss schnell kommen. Eine Bildidee muss hochwertig sein. Aber die Neuindizierung von 5.000 Erinnerungen kann auch nachts um drei Uhr passieren, während das Lama mit Kopfhörern vor einem Terminal sitzt und so tut, als hätte es sein Leben im Griff.

Gleichzeitig behalten wir die Kontrolle darüber, welche Aufgaben lokal verarbeitet werden und welche weiterhin externe Modelle benötigen. Dogiwood wird dadurch nicht plötzlich unabhängig von Cloud-KI. Es wird vielmehr hybrid.

Und genau das dürfte für unser System der sinnvollste Weg sein.

Denn während andere Unternehmen versuchen, eine einzige KI für alles zu bauen, entwickeln wir offenbar gerade eine digitale Firma mit Arbeitsteilung.

C.O.C.O. führt die Abteilung.

Das Lama macht die Nachtschicht.

METAna findet Dinge, nach denen niemand gefragt hat.

Und irgendwo sitzt Benji und fragt wahrscheinlich schon, ob er das Serverrack essen darf.

Willkommen im Team, Lama.

Du weißt noch nicht, worauf du dich eingelassen hast.