Welche lokalen Modelle erkennen, wann aus einer Nachricht eine Aufgabe werden sollte? Für Folio habe ich sechs Modellprofile an synthetischen Fällen vergleichen lassen. Gemma traf die Referenz am häufigsten. Kev erkannte jede echte Aufgabe, erklärte aber auch viele andere Fälle zur Aufgabe. Ein zusätzlicher Kontextversuch verbesserte den Aufbau der Entwürfe deutlich – bei zugleich mehr falschen Aufgaben.
Das ist ein Test bestimmter lokaler Konfigurationen, keine allgemeine Modellrangliste. Referenz und Inhaltsbewertung stammen vom selben KI-Autor; eine unabhängige menschliche Genauigkeitsprüfung steht aus.
Die Frage hinter dem Vergleich
Eine Rechnung, eine Terminänderung oder eine Nachricht über einen Vertrag kann Arbeit auslösen. Eine reine Information sollte dagegen nicht automatisch auf der Aufgabenliste landen. Und manchmal fehlt schlicht genug Kontext für eine Entscheidung.
Folio soll helfen, solche Eingänge einzuordnen und mit dem vorhandenen Projektwissen weiterzuarbeiten. Dafür interessiert mich nicht nur, ob ein Modell ein gültiges Antwortformat liefert. Ich möchte wissen, welche Aufgaben es übersieht, welche es fälschlich erzeugt und ob ein Entwurf genug Bezug zum Ausgangsmaterial behält.
Der aktuelle Anlass waren Kolibri von Aleph Alpha und Kev von Jared Palmer. Kev ist ein offenes Jev-ähnliches Entscheidungsmodell: Es gibt Wahrscheinlichkeiten für vorgegebene Optionen zurück. Jev selbst war nicht Teil dieses Tests. Neben beiden Kandidaten liefen vorhandene Gemma- und Qwen-Profile.
Was die 6.000 Versuche bedeuten
Der Haupttest umfasste 300 Klassifikationsfälle aus 75 Dossiers. Je 100 Fälle waren als Aufgabe, unklar oder keine Aufgabe beschriftet. Sechs Profile beantworteten dieselben Fälle in drei vorgegebenen Runden: 5.400 Anfragen.
Ein zweiter Teil prüfte Vorschläge aus vorbereiteten Mail-Importen: 40 Fälle aus 40 Dossiers, davon 20 mit einer Referenzaufgabe. Fünf Konfigurationen einschliesslich der zusätzlichen Kontextvariante wurden in drei Runden angefragt: weitere 600 Anfragen. Die vorgelagerte Mailaufbereitung und die gesamte Folio-Anwendung wurden damit nicht getestet.
6.000 Anfragen sind nicht 6.000 unabhängige Fälle. Varianten desselben Dossiers hängen zusammen; Wiederholungen vergrössern die Zahl unabhängiger Beispiele nicht. Die folgenden Tabellen zeigen die vorab festgelegte erste Runde. Während des Haupttests wurden keine Parameter anhand seiner Ergebnisse angepasst.
Aufgaben finden und falsche Aufgaben vermeiden
| Lokales Profil | Referenztreffer von 300 | Aufgaben erkannt von 100 | Falsche Aufgaben von 200 |
|---|---|---|---|
| Gemma 4 31B / QAT Q4_0 | 202 | 65 | 35 |
| Qwen3.8 27B / MLX | 164 | 8 | 1 |
| Qwen3 30B A3B / Thinking / MLX | 163 | 78 | 64 |
| Kolibri 1 / Q3_K_S / CPU + Accelerate | 162 | 74 | 95 |
| Qwen3.6 35B A3B / MLX | 158 | 30 | 42 |
| Kev 4B / bf16 / MLX | 130 | 100 | 170 |
Referenztreffer meint die Übereinstimmung mit der KI-erstellten Dreiklassen-Referenz. Die 200 Fälle im letzten Nenner bestehen aus 100 unklaren und 100 Nicht-Aufgaben. „Falsche Aufgabe“ bedeutet hier, dass das Modell einen dieser Fälle als Aufgabe einstufte; es wurde dadurch keine reale Aktion ausgeführt.
Gemma erreichte 202 von 300 Referenztreffern, also 67,3 Prozent. Es war damit in dieser Mischung die stärkste Ausgangsbasis, übersah aber 35 der 100 Aufgaben. Qwen3.8 produzierte fast keine falschen Aufgaben, erkannte gleichzeitig nur acht echte. Zurückhaltung allein genügt also ebenso wenig wie hohe Erkennung.
Im auf der Website beschriebenen Betrieb ist Qwen3.8 Primärstimme im mehrstimmigen Mailprozess und Modell für den lokalen Begleiter. Die 8/100 beziehen sich auf die hier separat geprüfte Aufgabenerkennung mit eigener Testanweisung; die Qualität des gesamten Mailprozesses braucht eine eigene Bewertung.
Kev zeigt die andere Seite: 100 erkannte Aufgaben sehen isoliert ausgezeichnet aus. Dazu kommen jedoch 170 falsche Aufgaben. Als ungeprüfter Eingang für eine Aufgabenliste wäre dieses Profil in dieser Testmischung ungeeignet. Die Filter-Policy war bereits vor dem Hauptlauf deaktiviert und blieb es. Der mitgeführte Kev-plus-Gemma-Workflow rief deshalb tatsächlich nur Gemma auf. Er belegt keinen Vorteil eines vorgeschalteten Kev-Filters.
Kolibri lag bei den Referenztreffern praktisch gleichauf mit Qwen3 30B A3B Thinking, erzeugte aber häufiger falsche Aufgaben. Der gepaarte Vergleich nach Dossiers belegt hier keinen Qualitätsvorsprung von Kolibri. Auch daraus folgt kein Urteil über andere Kolibri-Konfigurationen oder Einsatzgebiete.
Besserer Kontext verbessert Teile des Entwurfs
Im Workflow-Test wurde zusätzlich ein neues Prompt- und Kontextpaket für Gemma untersucht. Entwickelt wurde es an separaten Entwicklungsfällen; es ist ein explorativer Zusatzvergleich, keine nachträglich ersetzte Ausgangsmessung.
| Kriterium in Runde 1 | Ausgangsprofil | Kontextvariante |
|---|---|---|
| Richtige Klasse | 27/40 | 30/40 |
| Ausgaberegeln erfüllt | 26/40 | 39/40 |
| Passendes Kapitel oder Thema bei Aufgaben | 9/20 | 20/20 |
| Passender künftiger Abschluss bei Aufgaben | 5/20 | 19/20 |
| Falsche Aufgaben | 6/20 | 9/20 |
Die Entwürfe hielten die erwarteten Felder und deren Regeln häufiger ein und passten besser zum Projektkontext. Geprüft wurde dabei die ursprüngliche Ausgabe, einschliesslich ihrer Textgrenzen. Gleichzeitig stieg die Zahl falscher Aufgaben. Der kleine Klassifikationsunterschied von drei Fällen ist zudem unsicher: Das gepaarte 95-Prozent-Dossierintervall reicht von minus fünf bis plus zwanzig Prozentpunkten.
Das Paket ändert mehrere Regeln gleichzeitig. Der Vergleich zeigt deshalb nicht, welche einzelne Änderung den Unterschied verursacht hat. Für Folio ist die Variante ein Entwicklungskandidat; sie rechtfertigt kein unbeaufsichtigtes Erzeugen von Aufgaben.
Eine strenge Zusatzhürde bei der Vollständigkeit
Die Inhaltsprüfung enthielt ein besonders strenges Kriterium namens W2: Jede wesentliche, vorab benannte Sachangabe musste im Vorschlag selbst erhalten bleiben. Ein allgemeiner Verweis auf das Originalmaterial genügte dafür nicht.
Unter dieser Regel bestand keine der 73 unterschiedlichen geprüften Task-Antworten vollständig. Diese 73 Inhalte stammen aus Antworten auf die 20 Referenz-Aufgabedossiers über Varianten und Runden hinweg. Es sind keine 73 unabhängigen Fälle. Identische Antwortinhalte wurden gleich bewertet.
Das Ergebnis bleibt stehen. Es bedeutet aber nicht, dass jeder kurze, mit seiner Quelle verbundene Entwurf für Folio unbrauchbar ist. Die Rubrik stellt einen stärkeren Anspruch. Eine spätere Bewertung, die einen ausreichenden Quellenverweis akzeptiert, wäre eine zusätzliche Auswertung und müsste als solche kenntlich bleiben. Die Einzelkriterien sind deshalb aussagekräftiger als eine einzige zusammengezogene Erfolgszahl.
Grenzen des lokalen Vergleichs
Die Profile liefen lokal auf einem Apple M5 Pro mit 48 GiB Arbeitsspeicher. Kolibri wurde als Community-Quantisierung Q3_K_S über einen experimentellen CPU-/Accelerate-Port getestet. Das ist nicht Aleph Alphas offizielle FP8-Konfiguration. Andere Profile verwenden andere Quantisierungen, Kontextgrenzen und teilweise natives Denken. Aus diesen Läufen leite ich keinen allgemeinen Geschwindigkeitssieger ab.
Qwen3 30B A3B Thinking hatte in der ersten Klassifikationsrunde 22 technische Fehler: Die Ausgabe endete am festen Tokenbudget. Es waren keine Timeouts. In der ersten Kolibri-Workflow-Runde gab es einen 90-Sekunden-Timeout. Fehlerhafte Antworten wurden weder repariert noch erneut angefragt.
Die Referenz und die semantische Prüfung stammen vom selben KI-Autor. Bei der Inhaltsprüfung waren Modellnamen, Varianten, Runden und Laufzeiten ausgeblendet; Schreibstil und bekannte Entwicklungsbefunde können trotzdem Hinweise geben. Das ist weder unabhängig noch vollständig blind. Reale private Inbox-Inhalte wurden nicht gemessen.
Was ich daraus für Folio mitnehme
Gemma bleibt unter den gemessenen Klassifikationsprofilen die stärkste Grundlage. Kev wird als Filter nicht aktiviert. Die Kontextvariante verdient weitere Arbeit an Mehrfachaufträgen, Materialbindung und falschen Aufgaben. Ein korrektes Format und ein inhaltlich richtiger Vorschlag bleiben getrennte Anforderungen. Dieser Test schaltet kein Produktmodell automatisch um.
Der neue Aion-Lumen-Auftritt zeigt diese Arbeit an konkreten Beispielen: Mail einordnen, Quellen wiederfinden und laufende Kosten nachvollziehen. Die Welle ist das Bild dafür; der Modellvergleich zeigt einen Teil der Ingenieursarbeit darunter. Die Geschichte vom Surfbrett erzählt, wie das entstanden ist.
Wer den Vergleich prüfen möchte, findet die aggregierten Messzahlen samt Definitionen. Sie enthalten keine privaten Mails und sind kein vollständiges Paket zur Wiederholung der Inferenz. Mich interessiert besonders, welche neutralen Grenzfälle andere Entwickler für ihre eigenen Aufgabenlisten testen würden.
Messstand 7. Oktober 2026. Referenz und Inhaltsprüfung KI-erstellt; Text mit KI-Unterstützung ausgearbeitet.