ChatGPT erzeugt Texte, die so überzeugend sind, dass es oft schwer zu entscheiden ist, ob sie von einem Menschen oder einer künstlichen Intelligenz verfasst wurden. Dadurch wird es beispielsweise für Dozent: innen immer schwieriger, bei wissenschaftlichen Arbeiten die tatsächliche Urheberschaft festzustellen. Auf dem Markt gibt es zahlreiche Anbieter, die KI-Detektoren zur Identifizierung von KI-generierten Inhalten anbieten. Allerdings weist selbst OpenAI darauf hin, dass diese Detektoren nicht zuverlässig arbeiten.
Immer mehr Schüler und Studenten nutzen KI-Tools fürs KI-Studium
Es war nur eine Frage der Zeit, bis diese Nachricht die Runde machte: Hamburger Abiturienten sollen bei ihren schriftlichen Prüfungen auf künstliche Intelligenz, genauer gesagt auf ChatGPT, zurückgegriffen haben. Die Details sind noch unklar. Lehrer stellten bei der Korrektur Unstimmigkeiten in den Klausuren fest - einige Abschnitte waren fehlerbehaftet, andere schienen fehlerfrei, berichtete die Deutsche Presse-Agentur. Analysesoftware wies auf den Einsatz von ChatGPT hin.
Ein Jahr nach dem Start hat sich der von der US-Firma OpenAI entwickelte Chatbot bereits fest an deutschen (Hoch)Schulen etabliert. Laut einer repräsentativen Umfrage des Digitalverbands Bitkom unter 504 Jugendlichen zwischen 14 und 19 Jahren nutzen bereits 53 Prozent der Schülerinnen und Schüler das KI-Tool. Besonders beliebt ist es unter Gymnasiasten, von denen 57 Prozent angaben, es zu nutzen. Von denen, die ChatGPT nutzen, verwendet die Mehrheit (62 Prozent) die Technologie für ihre Hausaufgaben.
Diverse Anbieter bringen KI-Detektoren auf den Markt
Derzeit ist es selbst für KI-Experten schwierig zu unterscheiden, ob ein Text von einem Menschen oder einem fortgeschrittenen Sprachmodell verfasst wurde. Obwohl es zahlreiche Programme gibt, die Texte generieren können, gibt es auch zahlreiche Tools (KI Detektor, AI Classifier), die darauf spezialisiert sind, von künstlicher Intelligenz erstellte Texte zu erkennen. Zu diesen KI-Detektoren gehören beispielsweise:
- GPT-Zero, das von einem Informatikstudenten in den USA entwickelt wurde,
- der KI Detektor (AI Text Classifier) von OpenAI,
- sowie Plattformen wie Copyleaks.com
Diese Tools wurden bereits von Wissenschaftlern und Medienfachleuten getestet und ihre Zuverlässigkeit wurde als mäßig bis negativ eingestuft.
Einsatz von einem KI-Detektor ist fraglich
OpenAI, der Entwickler von ChatGPT, hat klargestellt, dass die derzeitige Technologie zur automatischen Erkennung von KI-generierten Texten zu unzuverlässig ist, um die Authentizität von Studienarbeiten zu verifizieren. In einem FAQ-Bereich für Lehrkräfte und Dozent: innen hat das Unternehmen deutlich gemacht, dass KI-Detektoren nicht effektiv sind, und auf die Frage, ob sie funktionieren, mit einem klaren "Nein" geantwortet. Es gibt zwar Tools, die vorgeben, KI-generierte Inhalte erkennen zu können, aber kein Tool hat sich bisher als zuverlässig erwiesen, um KI-generierte Inhalte von menschlichen Inhalten zu unterscheiden. Zudem können selbst bei einem KI-Detektor minimale Textänderungen die Erkennung umgehen.
OpenAI selbst hat Anfang des Jahres 2023 mit dem AI Classifier einen KI-Detektor zur Erkennung von KI-Inhalten vorgestellt. Aufgrund der geringen Genauigkeit wurde das Projekt jedoch bereits im Juli wieder eingestellt. Die Software identifizierte aus einer speziell zusammengestellten Kollektion englischsprachiger Texte 26 Prozent der von Textgeneratoren produzierten Texte korrekt als maschinell erstellt. Allerdings ordnete sie auch irrtümlich neun Prozent der von Menschen verfassten Texte fälschlicherweise einer KI zu. In einer Untersuchung von Forschern der US-amerikanischen Universitäten Stanford und Cornell wiesen Teilnehmer den Beispieltexten nur mit einer Genauigkeit von 50 Prozent richtig zu, ob sie von einem Menschen oder einer Maschine stammen.
Mögliche Ansätze, um KI Text erkennen zu können
Selbst wenn OpenAI darauf hinweist, dass es schwierig sein könnte, zu unterscheiden, ob Texte von Menschen oder Maschinen verfasst wurden, wie können dann Dozent: innen einen KI-Text erkennen? Laut ChatGPT sollte man insbesondere auf grammatikalische Fehler, unangemessene Satzstrukturen oder inkonsistente Abschnitte achten. KI-Texte haben oft ungewöhnliche oder fehlerhafte Ausdrücke. Forscher auf diesem Gebiet argumentieren jedoch, dass gerade solche (Tipp-)Fehler eher auf menschliches Schreiben hinweisen.
Experten sind der Meinung, dass man KI-generierte Texte eventuell an folgenden Merkmalen erkennen kann:
- KI-Tools machen oft Fehler bei Abkürzungen und Fachbegriffen sowie bei Artikeln und Konjunktionen.
- KI-Texte sind oft weniger originell und vielfältig und neigen zu vielen Wiederholungen; menschliche Texte variieren stärker beim Schreiben.
- Ein SEO-ähnlicher Stil mit vielen aneinandergereihten Schlüsselwörtern könnte auch auf eine KI als Verfasser hinweisen.
Zukunft vom KI-Studium und der KI-Erkennung
In einem auf Golem.de veröffentlichten Artikel stellt der Autor Andreas Meier, der seit rund 20 Jahren auf dem Gebiet der KI forscht, drei Forschungsrichtungen vor, wie man KI Text erkennen könnte: maschinelles Lernen, digitale Wasserzeichen und die Analyse statistischer Daten von KI-generierten Texten. Doch jeder dieser Ansätze hat laut Experte Meier seine Schwächen.
- So müssen Klassifikatoren, die aus Beispielen lernen, auf einer Vielzahl von Textsorten trainiert werden, was den Aufbau einer großen Datenbasis erfordert - ein sehr aufwändiges Unterfangen.
- Die Strategie, ein unsichtbares Wasserzeichen in Texte einzufügen, um KI Text erkennen zu können, setzt voraus, dass die Entwickler der KI-Tools dieses Watermarking implementieren - eine fragwürdige Erwartung.
- Statistische Methoden, die im KI Studium eingesetzt werden, wiederum benötigen Zugang zu den Wahrscheinlichkeitswerten der Textgenerierung, was bei Systemen ohne API-Zugang wie ChatGPT nicht möglich ist.
Während die Forschung noch nach Lösungen sucht, um KI Text erkennen zu können, schreitet die Entwicklung in diesem Bereich rasant voran. "Die schnelle Entwicklungsgeschwindigkeit in diesem Bereich lässt Erkennungsmethoden im KI Studium schnell veralten", so die IT-Journalistin Melissa Heikkilä in einem Beitrag für die MIT Technology Review.