KI-Text erkennen: Was Detektoren wirklich leisten
Kurz gesagt
Verlässlich nicht. Unabhängige Studien zeigen, dass KI-Detektoren einen großen Teil maschineller Texte übersehen, vor allem nach leichter Überarbeitung, und menschliche Texte fälschlich markieren, bei manchen Nicht-Muttersprachlern in über 60 Prozent der Fälle. Ein Detektor-Score kann ein Gespräch anstoßen. Über Noten oder Jobs sollte er nie entscheiden.
OpenAI hat im Januar 2023 einen eigenen KI-Text-Klassifikator veröffentlicht. Auf dem Testdatensatz markierte das Werkzeug 26 Prozent der KI-Texte korrekt und stufte 9 Prozent der menschlichen Texte fälschlich als KI ein. Ein halbes Jahr später, am 20. Juli 2023, schaltete OpenAI es wegen geringer Genauigkeit ab.
Die Firma, die ChatGPT gebaut hat, konnte ChatGPT nicht zuverlässig erkennen. Mit diesem Wissen im Hinterkopf solltest du jede Werbung mit „99 Prozent Genauigkeit” lesen.
Was unabhängige Studien herausgefunden haben
Herstellerzahlen werden mit Herstellerdaten gemessen. Unabhängige Forschung kommt regelmäßig zu deutlich schwächeren Ergebnissen.
Die Studie aus Berlin
Ein Team um Debora Weber-Wulff von der HTW Berlin testete 2023 zwölf frei verfügbare Werkzeuge sowie Turnitin und PlagiarismCheck. Das Fazit der Forschenden: Die verfügbaren Detektoren sind „weder genau noch zuverlässig”. Die Tools neigten dazu, Texte als menschlich einzustufen, und manuelle Überarbeitung oder maschinelles Umformulieren verschlechterte die Erkennung deutlich (Weber-Wulff et al.). Auch maschinelle Übersetzung, für deutsche Texte besonders relevant, machte die Ergebnisse schlechter: Menschliche Texte, die maschinell ins Englische übersetzt wurden, galten deutlich häufiger fälschlich als KI.
Benachteiligung von Nicht-Muttersprachlern
Forschende in Stanford um Weixin Liang ließen sieben verbreitete Detektoren 91 Aufsätze von Nicht-Muttersprachlern aus dem TOEFL-Englischtest und 88 Aufsätze US-amerikanischer Achtklässler prüfen. Bei den amerikanischen Texten lagen die Detektoren fast immer richtig. Bei den TOEFL-Aufsätzen betrug die durchschnittliche Fehlalarmquote 61,22 Prozent. Alle sieben Detektoren hielten 18 der 91 menschlichen Aufsätze einstimmig für KI, und 89 von 91 wurden von mindestens einem Detektor markiert (Liang et al.).
Leicht auszutricksen
Mike Perkins und Kollegen prüften sechs Detektoren mit 805 Textproben. Die Ausgangsgenauigkeit lag bei 39,5 Prozent, nach einfachen gezielten Änderungen fiel sie um weitere 17,4 Prozentpunkte auf 22,1 Prozent. Die Autoren folgern, dass sich die Werkzeuge derzeit nicht für Entscheidungen über Täuschungsversuche empfehlen lassen.
Wenige arbeiten mit niedriger Fehlalarmquote
Der RAID-Benchmark der University of Pennsylvania, vorgestellt auf der ACL 2024, umfasst mehr als 10 Millionen Dokumente aus 11 Sprachmodellen und 11 Textsorten, dazu 12 Arten gezielter Angriffe. Bei einer festen Fehlalarmquote von 5 Prozent schwankten die Ergebnisse stark, und nur wenige Detektoren ließen sich überhaupt unter 1 Prozent betreiben.
Quelle: OpenAI (Jan. 2023); Liang et al., Patterns 2023; Perkins et al., IJETHE 2024
Warum Detektoren diese Fehler machen
Die meisten Textdetektoren messen, wie vorhersehbar ein Text für ein Sprachmodell ist. Maschinentext wählt gern das wahrscheinlichste nächste Wort und wirkt deshalb sehr vorhersehbar. Menschliche Texte sind meist weniger glatt, mit ungewöhnlichen Wörtern und ungleichmäßigen Sätzen.
Diese Logik hat zwei Löcher. Manche Menschen schreiben vorhersehbar, aus Absicht oder Notwendigkeit: Nicht-Muttersprachler mit kleinerem Wortschatz, technische Redakteure mit Stilvorgaben, Studierende, die Standardformulierungen gelernt haben, und alle, die ihren Entwurf durch eine Rechtschreibprüfung gejagt haben. Als Liangs Team die TOEFL-Aufsätze von ChatGPT mit gehobenem Wortschatz anreichern ließ, sank die Fehlalarmquote stark. Gleiche Autoren, gleiche Gedanken, feinere Wörter. Umgekehrt wird KI-Text unberechenbarer, sobald jemand ihn bearbeitet, übersetzt oder das Modell um einen anderen Stil bittet.
Länge spielt ebenfalls eine Rolle. OpenAI warnte, sein Klassifikator sei bei Texten unter 1.000 Zeichen sehr unzuverlässig. Das betrifft die meisten Forenbeiträge, Mails und Kurzantworten. Gemischte Texte sind der schwierigste Fall: Laut Turnitin häufen sich falsch markierte Sätze dort, wo menschlicher und KI-Text aufeinandertreffen. 54 Prozent der fälschlich markierten Sätze standen direkt neben echtem KI-Text.
Das Basisraten-Problem
Auch eine niedrige Fehlalarmquote erzeugt in der Masse viele falsche Verdächtigungen. Turnitin gab im Juni 2023 an, die Fehlalarmquote auf Dokumentebene liege unter 1 Prozent, sofern mindestens 20 Prozent des Dokuments KI-Text sind, auf Satzebene bei etwa 4 Prozent. Die Vanderbilt University hat nachgerechnet, als sie die Funktion im August 2023 abschaltete.
- An Turnitin übermittelte Arbeiten 2022
- 75.000
- Angegebene Fehlalarmquote
- 1 %
- Möglicherweise falsch markierte Arbeiten
- rund 750
Quelle: Vanderbilt University, August 2023
Siebenhundertfünfzig Studierende unter Verdacht, an einer Universität, in einem Jahr. Und die unabhängigen Studien legen nahe, dass 1 Prozent für viele Textarten optimistisch ist.
Kann man KI-Text mit bloßem Auge erkennen?
Typische Muster gibt es: glatte, gleich lange Sätze, Aufzählungen in Dreiergruppen, Floskeln wie „nicht nur …, sondern auch”, ein Schlussabsatz, der alles wiederholt. Sie sind ein Hinweis auf schlechten Stil, kein Beweis für KI. Menschen schreiben so seit Jahrzehnten, gerade in Schulaufsätzen und Pressemitteilungen. Und wer KI geschickt nutzt, lässt diese Spuren nicht zurück.
Aussagekräftiger ist der Vergleich mit früheren Texten derselben Person. Passt ein Aufsatz in Stil, Fehlern und Wortwahl überhaupt nicht zu allem, was jemand bisher geschrieben hat, ist das ein Anlass für ein Gespräch, nicht mehr.
Wofür Detektoren taugen
Unbrauchbar sind Detektoren nicht. Sie funktionieren als grobe Vorsortierung, wenn wenig auf dem Spiel steht und ein Mensch entscheidet: eine Redaktion, die eine Ladung Freelancer-Texte vorsortiert, eine Lehrerin, die auswählt, welche Aufsätze sie im Unterricht bespricht.
| Kriterium | Vertretbar? | Warum |
|---|---|---|
| Note festlegen oder durchfallen lassen | Fehlalarme treffen echte Menschen | |
| Autor entlassen oder ablehnen | Dasselbe Problem, höherer Einsatz | |
| Texte für genauere Prüfung auswählen | teilweise | Nur mit weiteren Belegen |
| Spam-Fluten auf einer Webseite erkennen | Einzelne Fehler wiegen weniger | |
| Eigenen Text vor der Abgabe prüfen | teilweise | Kann beruhigen oder grundlos beunruhigen |
Turnitins eigene Anleitung geht in dieselbe Richtung: Der KI-Wert soll nicht die alleinige Grundlage für Maßnahmen gegen Studierende sein, nötig sei menschliches Urteil nach den Regeln der Hochschule.
Was Lehrkräfte stattdessen tun können
Schulen und Hochschulen haben bessere Werkzeuge als einen Score, und die meisten kosten nur etwas Planung. Zwischenstände einsammeln, etwa Gliederung, Literaturliste und Rohfassung, macht den Arbeitsprozess sichtbar. Eine kurze mündliche Nachbesprechung von fünf Minuten zeigt schnell, ob jemand seinen eigenen Text versteht. Aufgaben mit Bezug zu einer konkreten Unterrichtsstunde, zu lokalen Quellen oder zu eigenen Erfahrungen lassen sich schwerer an ein Sprachmodell auslagern.
Hilfreich ist auch eine klare Regel, was erlaubt ist. Wenn KI für Recherche oder Korrekturlesen zulässig ist, für das Formulieren aber nicht, muss das vorher feststehen und nicht erst im Streitfall. Viele Konflikte entstehen, weil Studierende und Lehrende unter „KI nutzen“ völlig Verschiedenes verstehen.
Bessere Wege, Urheberschaft zu prüfen
Wer wissen will, ob jemand einen Text selbst geschrieben hat, schaut auf den Prozess statt auf das Produkt. Versionsverlauf in Google Docs oder Word, frühere Entwürfe, Notizen, Quellen, die der Autor erklären kann, und ein kurzes Gespräch über die Argumentation sagen mehr als jeder Score. Wasserzeichen könnten künftig helfen, decken aber nur Texte von Anbietern ab, die sie einbauen, wie der Ratgeber zum KI-Wasserzeichen in Texten erklärt.
Wurdest du selbst verdächtigt, hilft der Ratgeber zum KI-Vorwurf bei der Hausarbeit Schritt für Schritt. Organisationen, die eine KI-Richtlinie schreiben, finden die gesetzlichen Regeln im Ratgeber zur KI-Kennzeichnungspflicht. Und wer ein Werkzeug baut, das wissen muss, woher Texte stammen, fragt einen Entwickler wie OnlineBuilders besser nach Herkunftsprotokollen statt nach nachträglicher Erkennung.
Häufige Fragen
Welcher KI-Detektor ist der beste?
Ranglisten ändern sich mit jedem neuen Sprachmodell, und Anbieter testen mit eigenen Daten. Unabhängige Benchmarks wie RAID zeigen, dass einige Detektoren bei bekannten Texten und 5 Prozent Fehlalarmquote gut abschneiden. Unter 1 Prozent, dem Bereich, auf den es bei einem Vorwurf ankommt, arbeiten nur wenige.
Erkennen Detektoren ChatGPT-Texte?
Manchmal. Unbearbeitete Ausgaben eines Modells, das der Detektor kennt, werden häufiger erkannt. Überarbeitete, übersetzte oder gemischte Texte deutlich seltener, und neuere Modelle sind schwerer zu erkennen als ältere.
Funktionieren KI-Detektoren auf Deutsch?
Viele Detektoren wurden vor allem mit englischen Texten entwickelt und getestet. Die Studie von Debora Weber-Wulff und Kollegen prüfte auch maschinelle Übersetzung: Menschliche Texte, die aus einer anderen Sprache ins Englische übersetzt wurden, stuften die Werkzeuge deutlich häufiger fälschlich als KI ein. Wer eigene deutsche Texte mit DeepL übersetzt, sollte das wissen.
Beweist der KI-Score von Turnitin einen Täuschungsversuch?
Nein, und Turnitin sagt das selbst. Die Anleitung zum KI-Bericht warnt, das Modell könne Texte falsch einordnen, und der Wert dürfe nicht die alleinige Grundlage für Maßnahmen gegen Studierende sein.
