Das Problem der ursprünglichen Idee.
Das Repository begann als Telegram-„Psychologen“-Bot. Es speicherte sensible Gespräche und stellte generierte Antworten als etwas dar, das einer Betreuung näherkam, als es die Software rechtfertigen konnte.
Eine nützliche technische Frage blieb: Wie lernt ein kleiner Textklassifikator, und wo scheitert er? Konten, Transkripte, Diagnosen und therapeutische Aussagen habe ich entfernt. Das neue Projekt macht Modell, Datenteilung, Kalibrierungsrichtlinie und Sicherheitsgrenze sichtbar.
Was ein glaubwürdiges Experiment braucht.
Die Neugestaltung musste Evaluationslecks und Unsicherheit schwerer zu verbergen machen:
- Verwandte Prompts müssen gruppiert bleiben, damit Paraphrasen nicht zwischen Training und Test wechseln.
- Kalibrierung, Richtlinienwahl, In-Distribution-Test und Out-of-Distribution-Test benötigen getrennte Datenrollen.
- Schwache Evidenz muss zur Enthaltung führen statt zu einem erzwungen sicheren Label.
- Browser- und Rust-Implementierung müssen dasselbe versionierte Artefakt und denselben Inferenzvertrag prüfen.
Von Demo-Accuracy zu einem Protokoll.
Ein einzelner Train/Test-Wert beantwortet die wichtigen Fragen nicht. Er zeigt weder, ob ähnliche Prompt-Familien die Teilung überqueren, noch ob Schwellen am finalen Testdatensatz abgestimmt wurden oder was außerhalb des Trainingsbereichs geschieht.
Das v3-Protokoll friert deshalb gruppenbewusste Partitionen ein und trennt Modell-Fitting, Wahrscheinlichkeitskalibrierung, Auswahl der Enthaltungsrichtlinie und finale Evaluation. Rust-Typen halten finale Testsätze aus den Auswahl-APIs heraus.
Die Open-Set-Pipeline.
Strikte TSV-Validierung speist eine deterministische, gruppenbewusste Teilung. Ein ausschließlich auf Trainingsdaten aufgebautes TF-IDF-Vokabular und multinomiale logistische Regression erzeugen Wahrscheinlichkeiten, Temperature Scaling kalibriert sie, und eine separat gewählte Richtlinie entscheidet über die Enthaltung.
Warum diese Technologien.
Der Stack stellt ein reproduzierbares, überprüfbares Experiment über die größtmögliche scheinbare Modellleistung.
Rust für Pipeline und CLI.
- Warum
- Typen, festgeschriebene Builds und ein portables Binärprogramm machen Datenrollen ausdrücklich und Prüfpfade reproduzierbar.
- Was ich ausgeschlossen habe
- Ein Notebook oder eine reine Python-Pipeline wären explorativer, ließen aber mehr impliziten Zustand und stärkere Umgebungsdrift zu.
- Der Preis dafür
- Wir nehmen höheren Implementierungsaufwand und ein kleineres ML-Ökosystem in Kauf.
TF-IDF mit multinomialer logistischer Regression.
- Warum
- Das Verfahren ist für einen kleinen synthetischen Korpus angemessen und macht Gewichte, Margins und Kalibrierung einsehbar.
- Was ich ausgeschlossen habe
- Ein Transformer wäre undurchsichtiger, teurer und für die vorhandene Evidenz überdimensioniert.
- Der Preis dafür
- Wir nehmen begrenztes semantisches Verständnis und begrenzte Sprachabdeckung in Kauf.
Ein gruppenbewusstes, verschachteltes Protokoll.
- Warum
- Es hält Prompt-Familien zusammen und trennt Modellwahl, Kalibrierung und finalen Test.
- Was ich ausgeschlossen habe
- Eine Zufallsteilung ließe verwandte Paraphrasen durchsickern und erzeugte irreführend optimistische Kennzahlen.
- Der Preis dafür
- Wir nehmen 506 Trainingsläufe, zusätzliche Versuchsbuchführung und sichtbare Unsicherheitsintervalle in Kauf.
Kalibrierte Enthaltung.
- Warum
- Ein Open-Set-System muss schwache oder verteilungsfremde Evidenz ablehnen können, statt Sicherheit vorzutäuschen.
- Was ich ausgeschlossen habe
- Eine erzwungene Klasse würde auch dann eine Antwort liefern, wenn die Daten keines der Labels stützen.
- Der Preis dafür
- Wir nehmen geringere Abdeckung, anspruchsvollere Schwellenwahl und keine Behauptung in Kauf, Enthaltung beseitige das Risiko.
Entscheidungen für ein ehrliches Ergebnis.
Das Projekt behandelt das Evaluationsprotokoll als Teil der Software.
Aussagen auf synthetische Daten begrenzen
Ergebnisse, Intervalle und Fehler beschreiben ausschließlich die versionierten synthetischen Fixtures des Experiments. Sie werden nicht auf reale Gespräche, klinische Kontexte oder allgemeine Sprachabdeckung übertragen.
Der ZielkonfliktDie Aussage ist enger und weniger spektakulär, bleibt aber der tatsächlich beobachteten Evidenz angemessen.
Den vollständigen Auswahlpfad veröffentlichen
Bundle, Partitionsplan, Out-of-Fold-Wahrscheinlichkeiten, Fold-Zuordnungen und Kandidatenrangfolge werden eingefroren und per SHA-256 verknüpft, sodass sich das ausgewählte Ergebnis rekonstruieren lässt.
Der ZielkonfliktDas Artefakt ist aufwendiger zu erzeugen und zu prüfen, verhindert aber, dass eine einzige finale Kennzahl den Auswahlpfad verbirgt.
Die tatsächliche Margin erklären
Vorhersagen zeigen Wahrscheinlichkeiten, Konfidenz, Top-Two-Margin und Merkmalsbeiträge, die die Differenz der führenden Logits rekonstruieren.
Der ZielkonfliktDie Merkmalsattribution erklärt die Berechnung dieses linearen Modells, nicht menschliche Bedeutung oder Absicht.
Reproduktions- und Release-Prüfungen.
Modell, Richtlinie, Metriken und Teilungsplan liegen in einem durch SHA-256 verknüpften Bundle. Die CLI kann es neu aufbauen, alle Verträge prüfen und begrenzte Batch-Inferenz ausführen. Eine festgelegte Berichtspräzision hält das v3-Bundle auf unterstützten Release-Zielen bytegleich.
Rust- und Browser-Code führen Paritäts-Fixtures gegen dasselbe Modell aus. Ein separater, per SHA-256 gebundener Auswahlbericht veröffentlicht jede Out-of-Fold-Wahrscheinlichkeit, Fold-Zuordnung und Kandidatenrangfolge; der Browser berechnet die Metriken neu und schließt bei veränderten Bytes oder Aggregaten.
Was das Projekt zeigt.
ELIZA Lab zeigt einen vollständigen Ablauf für ein kleines Modell: verschachtelte gruppenbewusste Auswahl, Kalibrierung, Open-Set-Richtlinienwahl, eingefrorene Tests, Artefaktprüfung und lokale Inferenz.
Es ist weder Therapeut noch Krisenerkennung oder produktives Sprachmodell. Sein Wert liegt darin, dass Lernende das Experiment prüfen und das Ergebnis reproduzieren können, statt einer Black-Box-Demo zu vertrauen.
Evidenzprotokoll.
Die geprüften Artefakte zeigen Auswahlresultat, eingefrorenen Test und Schwachstellen gemeinsam:
- Auswahlprotokoll
- 385 Trainings- und Entwicklungszeilen in 77 Familien durchlaufen 11 äußere und 5 innere Gruppen-Folds; dabei werden 506 Modelle trainiert.
- Auswahlergebnis
- Die Out-of-Fold-Accuracy beträgt 62,597% und der Macro-F1 62,640%; das familiengeclusterte 95%-Intervall der Accuracy reicht von 57,143 bis 68,571%.
- Eingefrorener ID-Test
- 82,857% Accuracy und 82,278% Macro-F1 auf 70 synthetischen englischen Zeilen.
- Open-Set-Ergebnis
- Die eingefrorene Policy deckt 62,857% der ID- und 11,11% der OOD-Zeilen ab; die OOD AUROC beträgt 0,80278 und die FPR bei 95% TPR 0,7778.
- Bekannte Schwäche
- Die Kontrast-Fixture mit 28 Zeilen erreicht 42,86% Paar-Accuracy; das Projekt verschweigt dieses Scheitern nicht.
Geprüftes Release v1.6.0 Geprüft am
Diese Fallstudie beschreibt das unveränderliche Release v1.6.0 am Commit cacd4448. Der signierte Tag und 20 attestierte Artefakte decken Linux x64, Windows x64, macOS Intel und Apple Silicon ab. Der synthetische Korpus belegt weder klinische Validität noch breite Sprachabdeckung oder Produktionsreife.