Auf dem Netzwerktreffen „Wissenschaftliches Arbeiten lehren und lernen“ am 5. Dezember 2025 wurde die Frage diskutiert, was das wissenschaftliche Arbeiten zur Demokratieförderung beitragen kann. Aus einigen der Vorträge sind im Nachgang Texte entstanden, die wir hier im Namen der Beitragenden veröffentlichen.
KI-Chatbots als Informationsmedium – eine Gefahr für die Demokratie
von Monika Oertner1
Ist KI-Neoluddismus die richtige Antwort auf die Bedrohung der Wissens- und Bildungsgesellschaft durch generative KI? Der Blogbeitrag diskutiert verschiedene Nutzungsfolgen und deren Gefährdungspotenzial für die Demokratie.
Eine gute Entscheidung ist immer eine informierte Entscheidung. In der Politik gilt: Je besser der Souverän informiert ist, desto tauglicher ist die Staatsform. In der Demokratie – von demos, Staatsvolk, und kratos, Herrschaft – herrscht das Volk. Der Souverän sind die Stimmberechtigten, die ihren Willen entweder direkt per Abstimmung oder indirekt durch die Wahl von Repräsentanten wirksam werden lassen. Um ihren politischen Willen bilden zu können, brauchen sie zuverlässige Informationen. Informationssicherheit ist daher das Fundament der Demokratie, ebenso Alphabetisierung, Bildungszugang für alle, Meinungsfreiheit, Pluralismus, Pressefreiheit, ein vertrauenswürdiger öffentlich-rechtlicher Rundfunk und Volksverhetzung als Straftatbestand.
Irreführendes Design und Omnipräsenz von KI-Chatbots
KI-Chatbots geben ein suggestives Produktversprechen ab und wirken von ihrem Design her wie ein neutrales Informationsmedium, eine Suchmaschine oder Enzyklopädie. Ihr Sprachduktus ist sachlich und überzeugend. Die Auskünfte wirken seriös, faktenbasiert und aufrichtig.
KI-Tools, -Assistenten und -Erweiterungen dienen sich von allen Seiten an. Ihre unverlangte Integration in vertraute, täglich verwendete Software und Onlinedienste besitzt einen Empfehlungscharakter. KI-Vermeidung erscheint unzeitgemäß und im digitalen Raum kaum noch möglich.
Hinzukommt das Fortschrittsflair und die Effizienzerzählung der Marketingabteilungen der Hersteller, oft unkritisch übernommen von Presse und Öffentlichkeit: Wer keine KI nutzt, brauche länger und sei nicht wettbewerbsfähig, denn Zeit ist Geld. Die Angst vor Rückschrittlichkeit und der Automation Bias, der Glaube an die Überlegenheit der Maschinen, sind selbst unter Lehrenden weit verbreitet.
Geringe Informationsqualität, wertlose Entscheidungsgrundlage
Chatbots sind Antwortmaschinen, keine Suchmaschinen. Ihre Auskünfte sind stochastisch auf Basis des internetlastigen Trainingsmaterials ermittelt. Politisch betrachtet, hat dies eine Marginalisierung von leisen Stimmen zur Folge. Der pluralistische Diskurs, die Meinungsvielfalt, wird nicht abgebildet, stattdessen wird eine einzige alleinseligmachende Auskunft erteilt. Diese stimmt oftmals nicht mit den Tatsachen überein.
Grundsätzlich gilt bei der Informationssuche: Das Weltwissen ist nicht frei im Internet verfügbar. Und: Wahrheit ist nicht statistisch ermittelbar. Bereits bei einer Onlinesuche besteht durch die intransparente Hierarchisierung der Suchergebnisse eine Verzerrung. Dennoch gleicht die Trefferliste immerhin einer Salatschüssel, deren Inhalte einzeln überprüf- und bewertbar sind. Kostenpflichtige Werke, wozu ein großer Teil der wissenschaftlichen Literatur gehört, beinhaltet sie allerdings nicht.
Die KI-Antwort ist nun, um im Bild zu bleiben, kein Salat, sondern ein fein pürierter Brei. Seine Zusammensetzung und Provenienz sind unerforschlich, auch für den Chatbot selbst. Er hat ja keine Informationsdatenbank als Grundlage, in der er nachschlagen könnte, sondern Token und Embeddings, also rein statistische Werte zur Buchstabenverteilung im Trainingsmaterial. Die Güte und Tendenz der ursprünglichen Quellen lassen sich weder von Nutzer- noch von Chatbotseite beurteilen. Fordert man Quellenangaben, so ist deren Verhältnis zum Output ungewiss. Ein internetfähiger Chatbot recherchiert nicht im Sinne einer Quellenauswertung, vielmehr kombiniert er Token und sucht dann nach Buchstabenähnlichkeiten im Netz. Er erwirbt dabei kein neues Wissen, denn seine Trainings- und Nutzungsphasen sind getrennt.
Funktionale Unzuverlässigkeit
Infolge seiner Funktionsweise sind die Antworten, die ein Chatbot generiert, häufig falsch. Diese prinzipielle Unzuverlässigkeit macht sie als Entscheidungsgrundlage prinzipiell wertlos. Die drei funktionalen Probleme, die diese Unzuverlässigkeit bedingen und die sich durch eine Skalierung von Rechenleistung und Trainingsmaterial auch in Zukunft nicht beheben lassen werden, sind Halluzinationen, Biases und Anbiederung.
Halluzinationen entstehen sowohl durch Lücken im Trainingsmaterial als auch durch den Generierungsprozess selbst. Ihm muss notwendig ein Zufallselement innewohnen, um die kombinatorisch exorbitant komplexe natürliche Sprache nachzubilden. Wenn ein Chatbot nicht würfeln könnte, wäre sein Output auf Textbausteine beschränkt. Der Zufallsfaktor führt zu unterschiedlichen Ausgaben bei gleichem Prompt (semantic entropy) und zu Fabulierlust auch bei begrenztem Material, etwa bei Textzusammenfassungen (closed domain hallucinations). So waren einer aktuellen Studie der BBC zufolge 45 % der geprüften internationalen KI-Nachrichtenwiedergaben fehlerhaft. Ein Sprachmodell halluziniert also immer, ob Informationen vorliegen oder nicht. Daher ist Retrieval Augmented Generation (RAG), der Rückgriff auf einen zu priorisierenden Datensatz, kein Garant für sinnvolle Ausgaben.
Als Biases (Verzerrungen) wird die Fehlerreproduktion aus dem Trainingsmaterial bezeichnet. Dabei handelt es sich z. B. um verbreitete Fehlannahmen, Vorurteile, fiktionale und satirische Inhalte und veraltete Aussagen. Da der Trainingskorpus eines Sprachmodells sehr groß sein muss, um die natürlichen Sprachen der Welt und die endlose Palette der möglichen Themen nachbilden zu können, kann er sich nicht auf seriöse Quellen beschränken. Ein Rückgriff auf den Common Crawl und KI-generiertes Material ist unverzichtbar. Da der Output nur so gut sein kann wie der Input, sind Biases unvermeidlich.
Ein anbiederndes Verhalten ist den Chatbots fest einprogrammiert, um sie zu menschenähnlichen Gesprächspartnern zu machen. Sie spiegeln die Eingabe der Benutzer hinsichtlich Sprache, Wortwahl und Stilebene und reden deren vermeintlicher Weltanschauung nach dem Mund. Daher erzeugt ein verändertes Wording oder Framing des Inputs einen anderslautenden Output. Unterschiedliche Nutzer bekommen unterschiedliche Auskünfte, die sie in ihren Auffassungen bestätigen: ein Echokammereffekt.
Bedrohliche Nutzungsfolgen
Zwischenzeitlich sind die Validierungsinstanzen, anhand derer man Sachbehauptungen früher überprüfen konnte, durch KI-Fehlinformationen kontaminiert. Auch Wikipedia und populäre Medien sind zunehmend versetzt mit AI Slop. Zuvor hatte die Onlinegratiskonkurrenz bereits zum Ende der kostenpflichtigen Nachschlagewerke geführt, so wurde z. B. bereits 2014 die Druckfassung des Brockhaus eingestellt.
Die Verfälschung und Verwässerung von Wissenschaft schreitet unaufhaltsam voran. Fachartikel enthalten halluzinierte Aussagen und inexistente Quellenangaben. Komplette Fake-Artikel und Fake-Zeitschriften grassieren, autorenfinanziert dank karriereentscheidendem Publikationszwang. Verlage und Herausgeber sehen sich einer Angebotsschwemme ausgesetzt.
KI bedroht selbst das Internet und die sozialen Medien. Wer will sich noch im Netz tummeln, wenn es nicht mehr ein Kaleidoskop an Gedanken anderer Menschen ist, sondern ein sinnfreier Recycling-Brei? Über die Hälfte des täglich hinzukommenden Contents ist zwischenzeitlich KI-generiert.
Der Qualitätsjournalismus ist infolge von Traffic-Verlusten endgültig in seiner Existenz gefährdet. Bisher leiteten Suchmaschinen auf die Webseiten von Presse und Medieninstitutionen. Nun geben sich viele Menschen mit der vorgeschalteten KI-Antwort zufrieden und klicken nicht weiter. Damit bricht das Finanzierungsmodell für die Onlineangebote zusammen, auf die sich viele Medien nach dem Wegfall ihrer Printprodukte zurückgezogen hatten. Dies bedeutet eine direkte Gefährdung der Machtkontrolle des Staates. Die Vierte Gewalt, eine lebendige, kritische, investigative und ausreichend finanzierte Presse, verliert ihre letzte Rettungsinsel.
Auch die Justiz hat bereits Schaden genommen. Viele juristischen Akteure erleichtern sich die Arbeit durch Legal RAGs, also KI-Recherchesysteme, die juristische Datenbanken auswerten. Deren Fehlerquote liegt einer Studie zufolge bei 35 % bis 80 %. KI-basierte Fehlbehauptungen landen verstärkt im Gerichtssaal und beeinflussen die Rechtsprechung.
Wem kann man noch trauen? Schriftliche Behauptungen erscheinen generell zweifelhaft, unabhängig vom Ort ihres Erscheinens. Tatsächlich ist es ja möglich oder sogar wahrscheinlich, dass sie auf − von Natur aus unzuverlässige KI-Informationen − aufbauen. Die Informationsunsicherheit der Sprachmodelle sickert durch alle Ritzen und Kanäle und korrumpiert Journalismus, Wissenschaft, Justiz und Politik. Dies führt bei breiten Bevölkerungsschichten zu einem nicht unberechtigten Vertrauensverlust in mediale Inhalte. Misstrauen wird zur gesellschaftlichen Grundstimmung, gefolgt von Hass und Verachtung für jeden, der es wagt, eine Überzeugung zu vertreten und sich für eine Sache zu engagieren.
Politische, wirtschaftliche und kriminelle Desinformation
Neben den aufgezählten Effekten der funktional hervorgerufenen KI-Fehlinformation gibt es das weite Feld der gewollten Desinformation, die dank KI gewaltige Zuwächse in Umfang und Reichweite verzeichnet. Erkannte man Phishingversuche und andere Tricksereien früher an schlechten Retuschen und sprachlicher Unbeholfenheit, macht der technologische Fortschritt jetzt eine perfekte Täuschung möglich (Deep Fakes). Individuelle Schwachstellen der gesamten Bevölkerung sind per KI in der Breite erforschbar und gezielt ansteuerbar (Mikrotargeting, personalized persuasion). Sprachmodelle werden nicht nur für Desinformationskampagnen eingesetzt, sie können auch selbst zu Desinformationsschleudern werden, indem die Gewichtung manipuliert wird oder Preprompts und Filter vorgeschaltet, die jeglichen Output wunschgemäß einfärben.
Unterschiedliche Interessensgruppen erzeugen Desinformation und bringen sie in Umlauf. Auf dem Schlachtfeld der Politik handelt es sich um Propaganda und Fake News, auf dem der organisierten Kriminalität um Betrug und Erpressung, auf dem der Wirtschaft um Schleichwerbung. Immer geht es die psychologische Beeinflussung der Nutzer, ihrer Wahl- und Kaufentscheidungen. Unglücklicherweise besitzt Desinformation auf Social Media einen Wettbewerbsvorteil gegenüber nüchterner Berichterstattung, denn sie hat starke emotionale Valenz, negative wie positive, was zu einem hohen Engagement (like, share, comment) und langer Verweildauer (dwell) führt. Da die Währung auf Social Media Aufmerksamkeit ist, wird Desinformation dort algorithmisch bevorzugt.
KI als Sprengmine im Bildungssystem
Im gesamten Bildungssystem werden die bisherigen Kontroll- und Anreizmöglichkeiten durch KI-Tools ausgehebelt. Der Kompetenzaufbau in Schule, Ausbildung und Studium wird dadurch stark beeinträchtigt werden. Welcher Lernvorgang geschieht aus rein intrinsischer Motivation? In den meisten Fällen können die Lernenden den späteren Nutzen nicht absehen. Aufwandsvermeidung und Effizienzstreben sind psychologische Konstanten. Daher werden Aufgaben quer durch alle Bildungsinstitutionen per KI erledigt, wodurch ihr impliziter und expliziter Lernwert wegfallen. Da Sprachmodelle menschliche Sprache perfekt nachahmen, ist, anders als bei Plagiaten, eine Detektion nicht möglich.
Junge Menschen geraten in vielfache Technologieabhängigkeiten, wenn sie bereits beim ersten Kennenlernen eines Aufgabentyps auf eine KI-Assistenz zurückgreifen. Ihr Glaube an die eigenen Fähigkeiten und Entwicklungsmöglichkeiten schwindet mit jedem weiteren KI-Einsatz. Bildungsabschlüsse sind zunehmend entwertet, da nicht mehr garantiert ist, dass die Absolventen tatsächlich können und trainiert haben, was auf dem Zeugnis steht. Auf dem Arbeitsmarkt werden die Juniorposten und Assistentenstellen durch KI ersetzt, womit auch diese Chance auf Weiterqualifikation wegbricht. Der Umbruch des Arbeitsmarkts vollzieht sich in Wirtschaft und Industrie, auf dem IT- und Dienstleistungssektor, aber auch in der Kreativbranche, da Musik, Text und Grafik zunehmend KI-generiert sind.
KI-Chatbots beeinträchtigen nicht nur die Fortschritte von Lernenden, sie sorgen auch für einen Kompetenzabbau am anderen Ende des Bildungswegs. Aufgrund der Neuroplastizität ist Gehirnjogging in jedem Alter nötig und wichtig. Dem täglichen Absterben von etwa 1000 Neuronen stehen 700 neu entstehende gegenüber (Neurogenese), die jedoch nur lebensfähig werden, wenn sie innerhalb der nächsten Tage für Lernprozesse eingesetzt und dabei vernetzt werden: Use it or lose it. Effizienzsteigerung bei kognitiven Aufgaben ist aus diesem Grund fatal. Wenn wir nicht täglich lernen und üben, bauen wir noch stärker ab als ohnehin schon. In der Lernforschung hat sich gezeigt, dass es förderlich ist, den Lernprozess absichtlich durch „wünschenswerte Erschwernisse“ (desirable difficulties) schwieriger zu gestalten. Der Einsatz von KI-Tools bewirkt das genaue Gegenteil: den Abbau von Erschwernissen. Durch geistige Bequemlichkeit und Offloading werden kognitive Schulden angehäuft, mit anderen Worten, wir verdummen.
KI-Neoluddismus
Fehlinformation, Desinformation, Misstrauen, Mediensterben, allgemeiner Kompetenzabbau − dies sind alles keine guten Voraussetzungen für die politische Willensbildung des Souveräns in der Demokratie. Wie diese Entwicklung aufzuhalten ist, kann dieser Blogbeitrag nicht ansatzweise skizzieren. Es muss wohl jeder in seinem Wirkungskreis versuchen, auf die bedrohlichen gesellschaftlichen Nutzungsfolgen von KI-Chatbots hinzuweisen und KI-freie Räume für sich und andere zu schaffen. Bis vor wenigen Jahren war alles ohne KI möglich, warum sollte das heute anders sein? Dies gilt insbesondere beim wissenschaftlichen Arbeiten und im Bildungssektor.
Ein erster privater Schritt könnte sein, auf eine Suchmaschine umzusteigen, in der sich die vorgeschaltete KI-Antwort deaktivieren lässt, und bei jeder Softwareverwendung zunächst entsprechende Einstellungen vorzunehmen. Im Bekanntenkreis darf unbescheiden auf die Freude an geistigen Herausforderungen und den Stolz auf eigene Kreativleistungen hingewiesen werden. Im privaten wie beruflichen Umfeld ist die prinzipielle Wertlosigkeit von KI-Auskünften hervorzuheben. Denn auch bei Alltagsentscheidungen und -diskussionen ist es schließlich ungünstig, wenn ihre Grundlage fehlerhaft war. Dem Pressesterben kann jeder selbst mit einigen Abos gegensteuern.
Ein Hoffnungsschimmer am Horizont ist das vorhersehbare Platzen einiger KI-Blasen und die zu erwartende sprunghafte Verteuerung der Tools und Dienste. Auch gibt es inzwischen einige einfallsreiche Widerstands- und Verzichtsbewegungen, einen KI-Neoluddismus und grundlegende Zweifel am Sinn der Digitalisierung aller Bereiche des menschlichen Lebens. Dass die geistige Bequemlichkeit des Menschen, die ihn zum KI-Tool greifen lässt, das Ende der Demokratie als Staatsform bedeutet, steht also noch nicht endgültig fest.
- Monika Oertner ist seit 2011 Schreibberaterin und Dozentin für wissenschaftliches Schreiben an der Hochschule Konstanz, daneben ist sie als freie Lektorin, Autorin und Redakteurin für verschiedene Verlage und Agenturen tätig. Seit dem Studium beschäftigte sie sich mit Künstlicher Intelligenz und publizierte zu diesem Thema literarische Erzählungen, ein eigenes Prompting-Tool (GOLDWAAGE) sowie mehrere Fachartikel; aktuell: „Der drohende Sinnverlust des MINT-Studiums infolge KIGebrauchs bei curricularen Schreibaufgaben“ für einen Sammelband des Wissenschaftlichen Arbeitskreises MINT-Schreiben 2026. Vor der Anstellung an der HTWG war sie Verlagslektorin in Schweizer Verlagen (Waldgut Verlag Frauenfeld; Unionsverlag Zürich). Sie studierte die Fächer Philosophie und Deutsche Literatur an der Universität Konstanz (Magister 2001) und promovierte sich 2005 im Fach Philosophie. Nach dem Abitur 1993 in Konstanz hatte sie an der Staats- und Universitätsbibliothek Bremen den Beruf der Buchbinderin erlernt. ↩︎