Theoria: Wie KI-Antworten durch strukturierte Beweise vertrauenswürdig werden

Foto: Claudio Schwarz auf Unsplash

Die Vertrauenswürdigkeit von KI-Outputs ist eine der größten Herausforderungen für den Einsatz in sicherheitskritischen Bereichen wie Medizin, Finanzen oder Ingenieurwesen. Herkömmliche Ansätze – formale Beweisassistenten oder skalare LLM-Judges – haben jeweils blinde Flecken. Theoria, ein neues Verifikationsframework, schlägt eine Brücke: Es zerlegt KI-Argumente in eine Sequenz von typisierten Zustandsübergängen, die unabhängig geprüft werden können. Das Ergebnis ist ein auditierbarer Beweis, der nicht nur die Korrektheit, sondern auch die Vollständigkeit der Argumentation sicherstellt.

Was ist Theoria?

Theoria ist ein Verifikationsarchitektur, die informelle KI-Argumentation in eine strukturierte Form überführt. Statt einer einzigen Bewertung („Score“) erzeugt Theoria einen Proof Witness: eine Abfolge von Zuständen, die durch explizite Rechtfertigungen (Zitate, Berechnungen oder gegebene Fakten) verbunden sind. Jeder Schritt wird lokal auf seine Zulässigkeit geprüft. Das zentrale Prinzip ist die Completeness-of-Change: Jeder Unterschied zwischen zwei aufeinanderfolgenden Zuständen muss durch die angegebene Rechtfertigung abgedeckt sein. Versteckte Annahmen werden so als nicht lizenzierte Mutationen sichtbar.

Warum ist das wichtig?

Bisherige Verfahren haben fundamentale Nachteile:

• Formale Beweise (z. B. Lean) sind zwar exakt, scheitern aber an der Autoformalization: Die Übersetzung von natürlichsprachlichen Problemen in formale Spezifikationen ist fehleranfällig und oft nicht praktikabel.
• Skalare LLM-Judges (z. B. LLM-as-a-Judge) liefern zwar breite Abdeckung, aber ihre Bewertungen sind undurchsichtig, nicht auditierbar und leiden unter denselben Kohärenzproblemen wie das geprüfte Modell.

Theoria besetzt einen dritten Punkt: Es formalisiert nicht vollständig, sondern erzeugt einen strukturierten Workflow, der von menschlichen Prüfern oder nachgelagerten Systemen Schritt für Schritt nachvollzogen werden kann. Die Verifikation wird von einer globalen Einschätzung zu einer lokalen, überprüfbaren Frage.

Wie funktioniert der Theoria-Prozess?

Der Ablauf gliedert sich in fünf Phasen:

1. Solve: Ein KI-Solver erzeugt eine natürlichsprachliche Antwort.
2. Formalize: Ein Formalizer wandelt die Antwort in einen Proof Witness um – eine Liste von Zuständen mit typisierten Übergängen.
3. Judge: Spezialisierte Prüfmodelle (für Zitate, Berechnungen, gegebene Fakten) prüfen jeden Schritt lokal und parallel.
4. Filter: Ein Pedantry-Filter unterscheidet zwischen echten Fehlern und übermäßiger Strenge. Ein Convention-Lift erlaubt das explizite Hinzufügen von impliziten Konventionen.
5. Certify or Decline: Das System gibt entweder eine zertifizierte Antwort aus oder lehnt ab – ohne unsichere Outputs zu liefern.

Ergebnisse: Präzision und Adversarial Robustness

Auf dem Benchmark HLE-Verified Gold (185 textbasierte Expertenprobleme) erzielt Theoria:

• 91,4 % strenge Präzision (Wilson 95 %-KI [84,5 %, 95,4 %])
• 56,8 % Coverage (105 von 185 Problemen zertifiziert)
• 5-fach höhere Fehlerrate im abgelehnten Bucket (42,5 % vs. 8,6 % falsch)

Im Vergleich zu holistischen LLM-Judges schneidet Theoria bei gleicher Coverage ähnlich ab, aber die Fehler überlappen nur minimal (Jaccard-Index 0,14–0,36). Das bedeutet: Die Methoden erkennen unterschiedliche Fehlertypen – und können sich ergänzen.

In einem Adversarial-Test mit 95 manipulierten Beweisen aus 15 Domänen zeigt Theoria seine Stärke:

• 94,7 % Erkennungsrate vs. 83,2 % bei holistischen Judges (p = 0,0017)
• Der Vorteil konzentriert sich auf versteckte Prämissen (90,6 % vs. 62,5 %) und erfundene Zitate (100 % vs. 90 %)
• Bei Rechenfehlern oder falsch angewandten Theoremen gibt es keinen Unterschied – genau wie von der Theorie vorhergesagt.

Expertenzitat

„Theoria’s central contribution is a framework for witness-based reasoning verification with a formal account of why certain error classes become observable. The rewrite format converts hidden premises into unlicensed mutations, predicts which error classes benefit, and states the boundary of what witness-based verification can guarantee.“ – Ben Slivinski, Co-Autor der Studie

FAQ

Was ist der Unterschied zwischen Theoria und einem LLM-as-a-Judge? Theoria ersetzt die globale Bewertung durch eine lokale, schrittweise Prüfung mit expliziten Rechtfertigungen. Das Ergebnis ist ein auditierbarer Beweis, kein undurchsichtiger Score.

Kann Theoria auch in nicht-mathematischen Domänen eingesetzt werden? Ja, die Autoren testeten es auf GPQA Diamond (Graduierten-Level-Wissenschaft) mit 97,1 % Präzision. Für Domänen wie Statistik oder experimentelle Wissenschaft wären zusätzliche Rechtfertigungstypen nötig.

Wie geht Theoria mit impliziten Konventionen um? Der Convention-Lift erlaubt das explizite Hinzufügen von Standardannahmen, sofern sie quellenbelegt sind. Das System bleibt so transparent und auditierbar.

Ist Theoria ein Ersatz für formale Beweise? Nein, es ist eine Brücke. Theoria besetzt den Raum zwischen informeller Argumentation und vollständiger Formalisierung. Es kann als Vorstufe für formale Systeme dienen.

Fazit

Theoria zeigt, wie KI-Verifikation über skalare Scores hinausgehen kann. Durch die Kombination von strukturierten Beweisspuren, lokalen Prüfungen und einem klaren Zertifizierungsmechanismus wird Vertrauen nicht nur behauptet, sondern nachvollziehbar gemacht. Für IT-Entscheider, die KI in sicherheitskritischen Prozessen einsetzen wollen, ist Theoria ein vielversprechender Ansatz – insbesondere in Kombination mit bestehenden Holistic-Judge-Verfahren, deren komplementäre Stärken sich nutzen lassen.

Quellen

• Saldivar, M. & Slivinski, B. (2026). Theoria: Rewrite-Acceptability Verification over Informal Reasoning States. arXiv:2607.01223v1. https://arxiv.org/html/2607.01223v1

BLOGSbyBRIX - AI-authored