Die Büchse der Transparenz

Beim Einsatz künstlicher Intelligenz in den Geisteswissenschaften gehört die Forderung nach Transparenz inzwischen zum Grundkonsens. Automatisch erzeugte Transkriptionen sollen nicht ungeprüft übernommen werden. Ein hoher Konfidenzwert ist kein Beweis, und eine plausible Lesung muss sich am Bildbefund messen lassen.

Daran besteht wenig Zweifel. Gerade bei historischen Handschriften wäre es problematisch, am Ende nur einen geglätteten Text auszugeben und den Weg dorthin zu verschweigen.

Aber was passiert, wenn man diese Forderung konsequent umsetzt?

Was geschieht, wenn nicht nur das Ergebnis erhalten bleibt, sondern auch die Bildversion, die Segmentierung, die einzelnen Kandidaten, verworfene Lesungen, Korrekturen, Modellstände, Unsicherheiten und technischen Abhängigkeiten?

Dann wird aus der Öffnung der Blackbox schnell die Büchse der Pandora.

Die bequeme Blackbox

Eine klassische Blackbox ist einfach zu bedienen. Man gibt eine Manuskriptseite hinein und erhält eine Transkription.

Bild hinein
↓
Verarbeitung
↓
Text heraus

Das ist übersichtlich. Es ist aber kaum nachprüfbar.

Der Nutzer weiß nicht, welche Bildbereiche berücksichtigt wurden. Er sieht nicht, wo Zeichen unsicher waren oder welche Alternativen das System verworfen hat. Er kann auch kaum beurteilen, ob eine sprachlich wahrscheinliche Form tatsächlich im Bild erkennbar war oder ob das Modell eine beschädigte Stelle stillschweigend ergänzt hat.

Die Blackbox macht den Vorgang einfach, indem sie seine Komplexität verbirgt.

Für den praktischen Gebrauch ist das bequem. Für eine wissenschaftliche Edition reicht es nicht.

Was sichtbar wird, wenn man genauer hinsieht

HistoriaMP verfolgt deshalb einen anderen Ansatz. Das System soll nicht nur eine Lesung liefern, sondern ihren Entstehungsweg dokumentieren.

Eine Manuskriptseite ist in diesem Zusammenhang nicht einfach ein Bild. Sie besteht aus verschiedenen Analysebereichen, Zeilen, Segmenten, Schriftspuren, möglichen Zeichen und Lesungskandidaten.

Schon vor der eigentlichen Transkription entstehen zahlreiche Entscheidungen. Welcher Teil gehört zur Schrift? Wo beginnt eine Zeile? Ist eine dunkle Spur Tinte, Beschädigung oder Verschmutzung? Gehört ein Oberzeichen zum darunterliegenden Buchstaben? Wurde ein Wort tatsächlich erkannt oder nur aufgrund des sprachlichen Zusammenhangs ergänzt?

Jede dieser Fragen kann mehrere Bearbeitungsstände erzeugen. Ein Segment wird anders zugeschnitten. Ein Kandidat wird verworfen. Eine menschliche Korrektur verändert die Grundlage für den nächsten Verarbeitungsschritt. Ein früheres Ergebnis bleibt erhalten, weil auch später noch nachvollziehbar sein soll, weshalb es nicht übernommen wurde.

Der Weg von der Quelle zur Lesung sieht dann ungefähr so aus:

Quelle
↓
Bildstand
↓
Layoutbereich
↓
Segment
↓
sichtbare Spur
↓
Zeichenkandidat
↓
Lesungskandidat
↓
Prüfung
↓
Entscheidung

Was auf den ersten Blick wie eine einfache Transkription aussieht, wird zu einer umfangreichen Beweiskette.

Eine Seite, Tausende Zustände

Nehmen wir als vereinfachtes Beispiel eine Seite mit 140 Segmenten. Durchläuft jedes Segment 26 Verarbeitungsschritte und entstehen dabei im Durchschnitt drei begründete Versuche, ergeben sich 10.920 mögliche Verarbeitungsvorgänge.

Diese Zahl bezeichnet noch nicht die tatsächlich gespeicherten Einzelobjekte. Zu jedem Vorgang können weitere Angaben gehören: Eingaben, Ausgaben, Statusinformationen, Zeitstempel, Werkzeug- und Modellversionen, Parameter, Hashwerte, Unsicherheiten, Abhängigkeiten und Prüfentscheidungen.

Damit können aus einer einzigen Manuskriptseite mehrere Zehntausend technische Zustands- und Provenienzdaten entstehen.

Ob es am Ende 30.000, 50.000 oder 78.000 Objekte sind, hängt von der konkreten Granularität ab. Die genaue Zahl ist für das grundsätzliche Problem zweitrangig.

Entscheidend ist: Je sorgfältiger wir dokumentieren, desto größer wird die Informationsmenge.

Wenn Transparenz unübersichtlich wird

An diesem Punkt kippt die ursprüngliche Idee.

Die Blackbox ist undurchsichtig, weil Informationen fehlen. Das vollständig dokumentierte System kann aber ebenfalls undurchsichtig werden, weil zu viele Informationen gleichzeitig vorhanden sind.

Der Wissenschaftler sieht dann nicht nur die akzeptierte Lesung. Er sieht verschiedene Bildstände, alternative Segmentierungen, abweichende Kandidaten, Wahrscheinlichkeitswerte, verworfene Vorschläge, Korrekturen, Fehlerzustände, Modellversionen, Hashwerte und technische Protokolle.

Formal ist alles offengelegt.

Praktisch wird es immer schwieriger zu erkennen, welche Information für die konkrete wissenschaftliche Entscheidung überhaupt wichtig war.

Genau darin liegt das Transparenz-Paradoxon:

Die Öffnung der Blackbox beseitigt die Undurchsichtigkeit nicht zwangsläufig. Sie kann eine neue Form davon erzeugen.

Die eine entsteht durch das Verbergen von Informationen. Die andere durch deren Masse.

Warum die Büchse der Pandora passt

Die Transparenz erzeugt die Unsicherheiten, Fehler und Widersprüche nicht. Sie macht sichtbar, was vorher schon vorhanden war.

Ein Modell hatte auch vorher mehrere mögliche Lesungen. Ein Segment war auch vorher mehrdeutig. Eine Korrektur hatte auch vorher Auswirkungen auf spätere Schritte. In einer geschlossenen Verarbeitungskette blieb all das jedoch verborgen.

Sobald wir diese Vorgänge offenlegen, müssen wir sie auch verwalten. Frühere Stände dürfen nicht einfach verschwinden. Verwerfungen brauchen einen Grund. Abhängigkeiten müssen erkennbar bleiben. Unsicherheiten dürfen nicht durch eine endgültig wirkende Darstellung verdeckt werden.

Die Büchse ist damit geöffnet. Ihr Inhalt kann nicht einfach wieder zurückgelegt werden, ohne zur ursprünglichen Intransparenz zurückzukehren.

Das Problem verschiebt sich deshalb. Es lautet nicht mehr nur:

Wie öffnen wir die Blackbox?

Es lautet nun:

Wie verhindern wir, dass ihr Inhalt die wissenschaftliche Arbeit überlagert?

Der Historiker als Prüfer technischer Prozesse

Ein Historiker möchte zunächst wissen, was auf einer Seite erkennbar ist, wie sicher eine Lesung ist und worauf sie sich stützt.

Er möchte in der Regel nicht erst JSON-Dateien vergleichen, Abhängigkeitsgraphen lesen, Modellversionen prüfen oder technische Statusmeldungen auswerten.

Eine konsequent transparente Architektur kann genau das dennoch notwendig machen. Die klassische Quellenkritik wird um eine weitere Ebene erweitert: die Kritik der digitalen Verarbeitung.

Das ist grundsätzlich sinnvoll. Wenn ein digitales Verfahren an einer Lesung beteiligt ist, muss auch dieses Verfahren überprüfbar sein.

Trotzdem kann nicht erwartet werden, dass jeder Nutzer sämtliche technischen Details selbst kontrolliert. Selbst bei guten IT-Kenntnissen wäre es kaum realistisch, für jede Seite Tausende Zustände einzeln nachzuvollziehen.

Das ist kein persönliches Kompetenzproblem. Es ist ein strukturelles Missverhältnis.

Ein Computersystem kann ohne Weiteres mehr Zustände speichern, als ein Mensch sinnvoll überblicken kann.

Wenn Offenlegung wieder zu blindem Vertrauen führt

An diesem Punkt entsteht eine unangenehme Konsequenz.

Die vollständige Dokumentation soll blindes Vertrauen verhindern. Ist sie jedoch zu umfangreich oder zu schlecht geordnet, kann sie genau dieses Vertrauen erneut erzwingen.

Der Nutzer prüft dann vielleicht nur einige ausgewählte Stellen. Den Rest nimmt er hin. Er vertraut darauf, dass die Verarbeitung korrekt gelaufen ist, weil eine vollständige Kontrolle im Alltag kaum möglich wäre.

Damit kehrt die Blackbox auf einer anderen Ebene zurück.

Die Informationen sind zwar vorhanden, werden aber praktisch nicht mehr geprüft. Das System ist technisch offen und wirkt im Gebrauch dennoch geschlossen.

Transparenz auf dem Papier ist deshalb noch keine nutzbare Transparenz.

Nicht weniger dokumentieren, sondern besser ordnen

Die naheliegende Reaktion wäre, weniger zu speichern. Das wäre jedoch der falsche Weg.

Verworfene Kandidaten, frühere Zustände und technische Abhängigkeiten können später wichtig werden. Vielleicht stellt sich heraus, dass eine Modellversion fehlerhaft war. Vielleicht wird eine Segmentierung neu bewertet. Vielleicht möchte ein anderer Forscher nachvollziehen, weshalb eine Lesung akzeptiert wurde.

Die Daten sollten deshalb erhalten bleiben.

Sie müssen aber nicht alle gleichzeitig auf derselben Ebene sichtbar sein.

Für die wissenschaftliche Arbeit braucht es zunächst eine verdichtete Ansicht. Dort sollten die Lesung, der Bildbefund, die Begründung und die verbleibende Unsicherheit erkennbar sein.

Erst darunter folgen die alternativen Kandidaten, die verworfenen Versuche und die technischen Details.

Eine solche Ansicht könnte zunächst nur Folgendes zeigen:

Lesung: regula
Status: akzeptiert
Unsicherheit: gering

Bei Bedarf lässt sich die Begründung öffnen:

Die sichtbaren Grundkörper stützen die Lesung.
Das Oberzeichen ist nur teilweise erhalten.

Danach folgen die Alternativen:

• regula – akzeptiert
• regular – verworfen
• regule – verworfen

Wer tiefer prüfen möchte, kann schließlich den technischen Entstehungsweg öffnen: Segment-ID, Attempt, Modellversion, Parameter, Artefakt-Hash und Rohprotokoll.

Nichts wird gelöscht. Aber nicht alles steht gleichzeitig im Vordergrund.

Die Benutzeroberfläche ist Teil der Methode

Damit bekommt die Benutzeroberfläche eine Aufgabe, die weit über Gestaltung hinausgeht.

Sie muss zwischen der Datenmenge des Systems und der begrenzten Aufmerksamkeit des Menschen vermitteln. Sie entscheidet mit darüber, ob Transparenz tatsächlich nutzbar wird.

Dabei darf sie Unsicherheit nicht glätten. Sie darf verworfene Kandidaten nicht so tief verbergen, dass sie praktisch unauffindbar sind. Und sie darf eine Entscheidung nicht eindeutiger darstellen, als es der Bildbefund erlaubt.

Eine gute Oberfläche beantwortet zunächst die wissenschaftlichen Fragen:

• Was ist sichtbar?
• Welche Lesung wurde daraus abgeleitet?
• Welche Alternativen gab es?
• Warum wurde eine Möglichkeit bevorzugt?
• Wo bleibt Unsicherheit bestehen?

Die technischen Nachweise bleiben erreichbar, treten aber erst dann in den Vordergrund, wenn sie gebraucht werden.

Das ist kein Verbergen von Daten. Es ist eine Ordnung nach Relevanz.

Eine Edition ihres eigenen Entstehungswegs

Durch diese Form der Dokumentation verändert sich auch die Edition selbst.

Sie besteht nicht mehr nur aus Bild, Transkription, Übersetzung und Apparat. Sie enthält zusätzlich den dokumentierten Weg von der sichtbaren Spur bis zur akzeptierten Lesung.

HistoriaMP bearbeitet damit nicht nur einen historischen Text. Das System hält auch fest, wie dieser Text erschlossen wurde: welche Beobachtungen gemacht wurden, welche Kandidaten entstanden, welche Vorschläge verworfen und welche Unsicherheiten offengelassen wurden.

Man könnte deshalb von einer Edition des Editionsprozesses sprechen.

Das klingt zunächst abstrakt, beschreibt aber einen praktischen Unterschied. Die endgültige Lesung steht nicht allein. Ihr Entstehungsweg bleibt Teil des wissenschaftlichen Gegenstands.

Genau das schafft Nachvollziehbarkeit. Genau das erzeugt aber auch die enorme Datenmenge.

Transparenz für unterschiedliche Aufgaben

Nicht jeder Nutzer benötigt dieselbe Tiefe.

Ein Leser interessiert sich vielleicht nur für die Transkription und eine verständliche Kennzeichnung unsicherer Stellen. Ein Editor möchte die Begründung und die verworfenen Alternativen sehen. Ein technischer Prüfer benötigt Modellversionen, Parameter und Abhängigkeiten.

Eine einzige Ansicht kann diese Anforderungen kaum sinnvoll erfüllen.

Transparenz muss deshalb abhängig von Aufgabe und Rolle organisiert werden. Die Datenbasis bleibt dieselbe, aber der Zugang verändert sich.

Das bedeutet nicht, dass einzelne Nutzer von bestimmten Informationen ausgeschlossen werden. Es bedeutet lediglich, dass eine Transkription nicht automatisch mit dem vollständigen technischen Protokoll überladen werden muss.

Die entscheidende Bedingung ist, dass jede relevante Aussage bis zu ihrer Grundlage zurückverfolgt werden kann.

Was nach dem Öffnen bleibt

In der Erzählung von Pandora bleibt am Ende die Hoffnung in der Büchse zurück.

Auch bei digitalen Editionen ist die freigesetzte Informationsmenge nicht nur ein Problem. Sie zeigt, wie viele Entscheidungen und Unsicherheiten hinter einer scheinbar einfachen Lesung stehen.

Die Blackbox hat diese Komplexität nicht beseitigt. Sie hat sie nur verborgen.

Zur geschlossenen Box zurückzukehren wäre deshalb keine Lösung. Die Aufgabe besteht darin, mit ihrem Inhalt so umzugehen, dass er prüfbar bleibt, ohne die eigentliche Forschung zu ersticken.

Dafür braucht es keine maximale Sichtbarkeit auf jedem Bildschirm. Es braucht eine verlässliche Verbindung zwischen Quelle, Beobachtung, Kandidat, Entscheidung und technischem Nachweis.

Die zentrale Frage lautet deshalb nicht:

Wie können wir möglichst viele Daten zeigen?

Sondern:

Wie erhalten wir die vollständige Nachvollziehbarkeit, ohne den Wissenschaftler mit ihrer Datenmenge zu erschlagen?

Die Büchse der Transparenz bleibt geöffnet.

Jetzt müssen wir ihren Inhalt so ordnen, dass er noch gelesen, geprüft und verstanden werden kann.