Notizen aus der Arbeit heraus.
Ich schreibe, wenn ich etwas Konkretes zu sagen habe, und das ist selten. Alles hier stammt aus Systemen, die laufen — nicht von einer Konferenzfolie.
Das ist kein Blog. Es sind Notizen aus realen Mandaten, geschrieben, wenn ein Problem oft genug wiedergekehrt ist, um eine erkennbare Form zu haben.
Drei Themen kommen immer wieder. Erstens die Grenze der Autonomie — wie viel davon eine Organisation tatsächlich verkraftet, und warum das autonomste System selten das richtige ist. Zweitens die Messung: wie man ein LLM-System prüft, ohne eine Evaluationsinfrastruktur zu bauen, die niemand zweimal ausführt. Drittens der Abstand zwischen einer funktionierenden Demo und einem System, das in einer regulierten Branche produktiv läuft — fast immer grösser als er aussieht, und fast nie aus technischen Gründen.
Kundennamen fehlen bewusst. Was zählt, ist das Muster, und das Muster lässt sich verallgemeinern.
Human-in-the-loop: der Mensch im System
«Wir setzen einen Menschen dazwischen» kann fünf verschiedene Dinge heissen, mit gegensätzlichen Kosten. Die Muster, und woran man erkennt, ob es wirkt.
Lesen →LLM-as-judge: KI bewertet KI
Ein Modell mit einem anderen zu bewerten funktioniert, aber erst nach Kalibrierung an menschlichen Urteilen. Die Varianten, die Verzerrungen, die Kosten.
Lesen →Golden Dataset und Testset
Ohne eine Sammlung von Beispielen mit erwarteter Antwort bleibt «funktioniert besser» eine Meinung. Wie man den Massstab baut, der Fortschritt belegt.
Lesen →Wann man nicht automatisieren sollte
Das autonomste System ist selten das richtige. Notizen darüber, KI um die Rahmenbedingung herum zu entwerfen statt gegen sie zu argumentieren.
Lesen →Wie man ein LLM-System testet
Prüfen Sie die Argumente des Modells, nicht seine Prosa. Eine deterministische Regressionssuite für Retrieval und Tool-Calls, die auch die Kosten senkt.
Lesen →Von sechs Monaten auf Stunden
Wie eine Forschungsorganisation von sechs Monaten manueller Arbeit zu einer produktiven agentischen Pipeline für ihre Leitlinien kam.
Lesen →