Thinking loudly about networked beings. Commonist. Projektionsfläche. License: CC-BY
2627 stories
·
142 followers

„KI“-Effizienzversprechen und der Niedergang der Demokratie

1 Comment

(Dieser Text ist mein Beitrag zum Sammelband “KI und Demokratie” herausgegeben von Ramona Casasola-Greiner und Korbinian Rüger. Gerade in einer Zeit in der Ministerpräsidenten sich ihre Gastbeiträge und Reden vibe-schreiben lassen oder Bundesminister ihre Reden zum Bundestag oder in Ausschüssen aus irgendeinem Sprachmodell ziehen, während sie nicht müde werden konstant anstelle echter Transformation und Innovation alles mit KI Slop zukleistern wollen, finde ich es wichtig, den Argumenten potenziell etwas mehr Reichweite zu geben. Kauft trotzdem gerne das Buch, es sind viele interessante Beiträge drin.)

Die wahrgenommene Geschwindigkeit eines allgemeinen Wandels hat in den letzten Jahren, wahrscheinlich Jahrzehnten zugenommen. Dabei beschreibt Wandel nicht nur eine konkrete Veränderung eines Teilsystems der Lebensrealität der Menschen (wie z.B. Wirtschaft) sondern eine größere Bewegung, in der sich in unterschiedlichen Bereichen des Lebens deutlich fühlbare, oft strukturelle Veränderungen ergeben, die sich gegenseitig beeinflussen: Die Klimakatastrophe beispielsweise zerstört an einem Ort der Erde die Lebensbedingungen der Menschen, diese migrieren in andere Bereiche der Erde wo dann plötzlich ein Diskurs über Migration immer mehr Raum einnimmt und darauf aufbauend rechtsradikale Parteien die Institutionen des Systems grundsätzlich in Frage stellen.

Gleichzeitig werden die etablierten Institutionen unserer Demokratie oft als zu wenig wandlungsfähig und „agil“ bewertet, um sich an die Anforderungen der Gegenwart und Zukunft anzupassen: Insbesondere demokratische und organisatorische Prozesse und Regeln werden eher als Hindernis angesehen – oft gekleidet in Beschwerden über ausufernde Bürokratie, gerne auch in ihrer Ironischen Steigerung: Dem „Schildbürgerstreich“.

Wenig steht so deutlich für den Einfluss dieses Narratives wie die Ankündigung der neuen Bundesregierung unter Friedrich Merz für ein neues Ministerium für Digitales und Staatsmodernisierung: Am 13.05.2025 schreibt die Bundesregierung: „Ziele des neuen Ministeriums sind die grundlegende Modernisierung unseres Staates und ein umfassender Abbau von Bürokratie.“

Doch nicht nur in Deutschland wird der Bürokratieabbau und die technologisch getriebene Staatsmodernisierung auf höchster Ebene vorangetrieben: US Präsident Trump instanziierte in seiner zweiten Amtszeit unter der Führung des Tech-Oligarchen Elon Musk das Department of Government Efficiency (DOGE): DOGE sollte sich den Staatsapparat der USA vornehmen, überflüssige Bürokratie (und die Beamten und Angestellten, die sie umsetzen) entfernen und durch technologische Innovation und insbesondere den Einsatz von künstlicher Intelligenz („KI“) die US Verwaltung effizienter, leistungsfähiger und vor allem kostengünstiger machen. Trotz der offensichtlich mit wenig Domänenkompetenz und Seriösität durchgeführten Kürzungen wurde die Existenz der DOGE Behörde auch in Deutschland insbesondere in der Wirtschaft durchaus positiv rezipiert. Der Vorstandsvorsitzende der Deutschen Telekom AG Höttges forderte beispielsweise Anfang Mai im Zuge des Mobile World Congress in Barcelona: „Was Europa braucht, ist ein Doge.“

Es besteht im gesellschaftlichen Mainstream eine breite Unterstützung für diffuse Forderungen nach mehr Effizienz bzw. weniger Bürokratie. Und gerade dem Hype-Thema „KI“ wird hier eine besondere Rolle zugesprochen.

„KI“ als Digitalisierungsmagie

Digitalisierungsprozesse, in denen nicht nur das neugeschaffene Bundesministerium für Digitalisierung und Staatsmodernisierung sondern auch Unternehmen der freien Wirtschaft und diverse Organisationen der Zivilgesellschaft den Schlüssel für einen moderneren und evtl. auch leistungsfähigeren Staat sehen, sind so schwierig in der Umsetzung, wie sie populär sind: Die aktuellste Version des traditionsreichen CHAOS Report der Standish Group von 2020 („CHAOS Report Beyond Infinity“) enden 66% aller Technologieprojekte in partiellem oder totalem Fehlschlag1. Und auch wenn diese Arten von Zahlen immer nur auf einem kleinen Ausschnitt des Marktes basieren, so zeigen diverse Studien immer wieder ähnliche Zahlen: Digitalisierungsprojekte schlagen immer noch mit einer hohen Wahrscheinlichkeit fehl.

Selbstverständlich gibt es dafür diverse, oft komplexe Gründe: Durch großen Druck auf die Budgets werden zu wenige Ressourcen bereitgestellt, um das Projekt zu stemmen oder das Projekt stößt in der Umsetzungsphase auf signifikante technische Hürden. Die Integration von Bestandssystemen (sogenannten „Legacy Systemen“) stellt sich häufig als extrem zeitaufwändig und fehleranfällig dar, und das Framing von Digitalisierungsprojekten als technische Aufgabe verstellt den Blick darauf, dass digitale Transformation von Prozessen immer auch die Veränderung der Prozesse selbst, der Organisation mit sich bringt: Digitalisierungsprojekte sind zu einem großen Teil soziale und organisatorische Projekte. Doch zu oft werden bestehende Strukturen einfach mit digitalen Tools nachgebildet in der Hoffnung dadurch Effizienzgewinne zu heben: Wer allerdings einen schlechten Prozess blind digitalisiert, hat am Ende einfach nur einen schlechten digitalen Prozess.

In diese Lücke stößt der „KI“-Diskurs, der „KI“-Systeme als „Everything Machines“ darstellt. Anders als etabliertere Softwarewerkzeuge, die für bestimmte und definierte Domänen oder Einsatzbereiche entwickelt und getestet wurden, versprechen „KI“-Systeme eine generelle Anwendbarkeit. An Stelle der mühsamen und zeit- und personalaufwändigen Analyse eines soziotechnisches Systems und seiner nachgelagerten Um- oder Neugestaltung tritt der Rückgriff auf „die KI“ – was im heutigen Falle meistens stochastische Vorhersagemodelle wie Large Language Modelle (LLMs) bedeutet. Da LLMs mit optionalem Zusatztrainingsaufwand plausibel aussehende Ergebnisse liefern, hat sich die Hoffnung und Vision etabliert, dass man die Mühen der echten Analyse und Arbeit an digitaler Transformation ersetzen kann durch die richtigen – fast wie einen Zauberspruch behandelten – Prompts von LLMs.

Stochastische „KI“-Systeme bieten für diesen Diskurs alleine schon ihres Namens wegen eine massive Projektionsfläche: Der Begriffsbestandteil „Intelligenz“ behauptet eine generische Problemlösungskompetenz hin, die in der Realität natürlich nicht existiert. Im Rausch des gesellschaftlichen und medialen Hypes um LLMs und verwandte Systeme ist es jedoch kaum möglich zu argumentieren, den „traditionellen“, teuren, risikoreichen Weg zu beschreiten: „KI“ wird es – nein muss es – schon richten.

Moderne „KI“ Systeme lassen sich in zwei Klassen kategorisieren: Diskriminative „KI“ Systeme, d.h. Systeme, die die in ihnen gespeicherten Muster zur Klassifikation einsetzen, und Generative „KI“ Systeme, die die gespeicherten Muster nutzen, um Inhalte ähnlicher Struktur zu erzeugen.

Für Digitalisierungs- und Transformationsprojekte spielen beide Arten sehr unterschiedliche Rollen: Diskriminative „KI“ ist grundsätzlich dazu geeignet, um bisher unstrukturierte oder analoge Daten durch die Anwendung neuronaler Netze so aufzubereiten, dass sie von traditionellen digitalen Prozessen weiterverarbeitet werden können. Diese Art von „KI“ Systemen verspricht also eine günstige, allgemeine Zugänglichmachung der ganzen Welt und ihrer Historie für IT Systeme – wenn die Datenaufbereitung denn eine ausreichend gute Qualität hat.

Generative „KI“ hingegen verspricht vor allem einen massiven Zugewinn an Effizienz und damit – mittelbar – eine Reduktion der benötigten Personalressourcen: Wo diskriminative „KI“ eher als Adapter für bestehende Systeme eingesetzt wird, so werden generative „KI“ Systeme mehr oder weniger deutlich als Ersatz für menschliche Arbeitskraft argumentiert. So stellt generative „KI“ in dieser Lesart den komplexen, risikoreichen Transformationsprozessen eine Maschine, die angeblich alles irgendwie kann entgegen: Die Mühen der Arbeit an sozialen Systemen werden nicht gemildert sondern versprochen, dass man sie sich gar nicht mehr zu machen braucht, weil die „Everything Machine“ alle Probleme magisch und reibungslos aus der Welt schafft.

Bürokratie, Demokratie, Friktion

Wenn heute über die Anforderungen an moderne Staaten gesprochen wird oder positive Beispiele vorgestellt werden sollen, dann stehen Administrationen im Zentrum, die bestimmte Prozesse digitalisiert haben: Staaten in denen man diverse Verwaltungsakte einfach „mit ner App“ erledigen kann oder in denen man beispielsweise digitale Dokumente und Zertifikate in einer digitalen Wallet verwalten kann.

Modernes Staatswesen wird zunehmend als etwas wahrgenommen, dass grundsätzlich und durchgängig digital sein muss. Und nicht nur einfach digital sondern digital auf eine Art, die die Apps von kommerziellen Diensten spiegelt im Hinblick auf User Experience und Einfachheit – losgelöst davon, ob die Szenarien der Nutzung einer Social Media Platform und beispielsweise eines Antrags auf eine Sozialleistung überhaupt vergleichbar sind in Hinblick auf Risiken, Konsequenzen und Nuance.

Wenig Ideen in unserer Gesellschaft finden wahrscheinlich ähnlich viel Zustimmung wie Hass auf Bürokratie. Bürokratie nervt Menschen mit Formalismen, die nach außen keinen Sinn ergeben oder mit Aufgaben, die man nicht versteht. Bürokratie macht Prozesse langsam und ineffizient. „Bürokratieabbau“ ist der letzte Wert, auf den man sich gesellschaftlich noch zu einigen im Stande zu sein scheint.

Doch gibt es gerade in demokratischen Gesellschaften natürlich eine positive Bürokratieerzählung: Bürokratische Prozesse sollen sicherstellen, dass Macht und Einfluss nicht von Einzelnen oder Gruppen genutzt werden kann, um andere Menschen illegal zu benachteiligen. Bürokratie ist immer auch Teil unserer Regeln und Gesetzte, soll sicherstellen, dass die Normen, die wir uns demokratisch gegeben haben, auch in der Realität umgesetzt werden. Bürokratie soll sicherstellen, dass der Gleichbehandlungsgrundsatz (Art. 3 GG: „Alle Menschen sind vor dem Gesetz gleich.“) auch wirklich umgesetzt wird, indem Entscheidungen und die Informationen, die zu ihnen geführt haben, dokumentiert und damit überprüfbar werden. Dass die Missachtung von Recht aufgedeckt und sanktioniert werden kann. Gerade weil Verwaltungsapparaten eine so große strukturelle Macht zukommt im Vergleich zu den Menschen, deren Leben sie beeinflussen.

Nach dieser Lesart ist Effizienz gar nicht das Hauptziel von Bürokratie, im Gegenteil: Eine gewisse Entschleunigung, die Deliberation und die bewußte Abwägung ermöglicht, ist wünschenswert, um den von Bürokratie betroffenen Menschen und ihren Bedürfnissen wie auch dem geltenen Recht und den Bedürfnissen der Gesellschaft gerecht zu werden. Die Langsamkeit von Bürokratie ist damit nicht nur ein reiner Seiteneffekt sondern teils sogar ein Feature, das Eingriffe in laufende Prozesse, Widersprüche und legitime demokratische Einflussnahme überhaupt erst ermöglicht. Was selbstverständlich nicht bedeutet, dass jeder bürokratische Prozess über Kritik erhaben ist und niemals verändert oder verbessert werden kann. Aber eine Verbesserung kann dabei nie nur auf Effizienz schielen sondern muss die demokratischen Normen und Werte im Blick behalten: Teilhabe, Fairness, Zugang.

Bürokratie ist positiv gelesen eine Manifestation des Bewusstseins eines demokratischen Staates, die Durchsetzung seiner Normen und damit auch die Garantie der Rechte der Menschen in seinem Staatsbereich sicherzustellen.

Dabei ist Bürokratie nicht der einzige Aspekt einer Demokratie, der – quasi per Definition – ineffizient ist. Denn Demokratie selbst basiert auf dem permanenten Austausch ihrer Teilnehmenden, auf kontinuierlichem Streit über Ziele, Bedürfnisse und Werte: Demokratie ist immer Reibung.

Die Aushandlungsprozesse, die Menschen überhaupt erst ihre Teilnahme am demokratischen Staat und die Einbringung ihrer politischen Ziele und Werte ermöglichen, sind grundsätzlich ineffizient und reibungsvoll. Erst die Unterdrückung von demokratischem Austausch und Teilhabe bringt Effizienz ins System und schafft nebenbei die Demokratie ab.

Somit ist die grundsätzliche Ablehnung von Bürokratie als „ineffizient“ oft nur ein Proxy für die grundsätzliche Ablehnung demokratischer Prozesse.

Reibungslose Technokratie

Technokratie ist ein Verständnis von Administration und auch Gesellschaft, in der Entscheidungen auf Basis von wissenschaftlichen, als objektiv oder neutral geframten Fakten getroffen werden. Technokratie basiert also auf dem Glauben, es gäbe nahezu immer „richtige“ Entscheidungen, deren Korrektheit sich nicht aus politischen Überzeugungen, Emotionen oder abstrakten Werten ableiten läßt, sondern aus Zahlen, Daten, Fakten, die jede Ideologie transzendieren.

In dieser Denkweise sind demokratische Prozesse, die immer auf Ideologien, Überzeugungen, persönlicher Lebensrealität, usw. basieren, wenig wertvoll oder gar essentiell: Sie sind immer Verschwendung und Reibung. Warum sollte man 1000 Menschen, die in einer Nachbarschaft wohnen, fragen, was sie wollen, wenn man einfach einen Experten fragen kann, der die korrekte Antwort gibt?

Zusätzlich suchen Technokraten – wie der Name schon andeutet – ihr Heil oft in technischen Systemen, die das „richtige“ Vorgehen umsetzen und von menschlichem, nicht-neutralem, emotionalem Einfluss befreien sollen. Hier taucht dann auch oft wieder die Figur der Effizienz auf: Ein technisches System trifft nicht nur die „richtige“ Entscheidung, sie tut es auch schneller als Menschen das könnten. Für die Umsetzung solcher Systeme sind die staatlichen Stellen dann meist nicht aufgestellt, was die Tür für das Heer aus Expert*innen und Berater*innen öffnet, die für den Staat Lösungen designen und implementieren sollen.2

Doch die meisten Debatten haben keine „korrekte“ Lösung, Demokratie ist keine Gleichung, die es zu lösen gilt. Viel mehr geht es um eine kollektive Deliberation, ein Aushandeln von Bedürfnissen, ein Bilden von Allianzen und Kompromissen und die Organisation von genug Zustimmung, um die eigenen Ziele durchzusetzen. Eine funktionierende Demokratie erzeugt keine „korrekten“ Ergebnisse sondern welche, die demokratischen Rückhalt und damit Akzeptanz haben.

Hier öffnet sich die Debatte um Demokratie dem Thema „KI“: Denn „KI“ wird wie oben beschrieben auch als Maschine dargestellt, die Rationalisierung und Effizienz herstellen kann und soll. Als eine „Everything Machine“, die jedes Problem, das man ihr entgegenwirft für uns löst und für uns entscheidet: Wir verbleiben „all watched over by Machines of Loving Grace“. Dabei bleibt allerdings Transparenz völlig auf der Strecke.

Black Boxes

„KI“ Systeme moderner Prägung, d.h. neuronale Netze trainiert auf Basis statistischer Muster in Daten, untergraben Mitbestimmung, indem sie Momente und Möglichkeiten der Deliberation und demokratischen Einflussnahme „wegoptimieren“. Sie sind damit allerdings nicht alleine, auch andere technische Systeme, die zu einer Automatisierung von Prozessen eingesetzt werden, können diese Eigenschaft haben.

Bei „KI“ Systemen kommt allerdings ihre besondere Eigenschaft erschwerend hinzu: Sie sind völlig opak. Ein traditionelles System, welches Entscheidungen trifft, kann nachträglich analysiert werden, es können Fehler in der Programmierung oder Fehlannahmen bei der Konzeption durch Analyse- und Debuggingmethoden aufgedeckt und dann behoben werden. Doch die Ausgaben moderner „KI“ Systeme sind nicht nur nicht besonders deterministisch, d.h. dieselbe Eingabe kann radikal unterschiedliche Ausgaben erzeugen je nach Einstellung bestimmter Parameter des statistischen Modells, sondern können nicht erklärt werden.

Die im dem „KI“ System zugrundeliegenden Modell manifestierten Strukturen sind nicht in einem bewußten Prozess der Anforderungsanalyse und Domänenmodellierung konzipiert und gestaltet worden, sondern einfach durch statistische Methoden aus einen Korpus an sogenannten „Trainingsdaten“ extrahiert. Dabei entstehen im Modell aber nicht benennbare und in ihren Wirkbeziehungen analysierbare Repräsentationen realer Objekte sondern nur statistische Gewichte in einem neuronalen Netz. Und wofür diese stehen ist völlig unklar.

Wenn ein System in der Verwaltung beispielsweise Menschen mit einem Alter über 60 Jahren diskriminiert, kann man in einem Analyseschritt feststellen, wo genau das Alter in den Prozess einfließt. Im neuronalen Netz, welches für dasselbe System trainiert wurde gibt es keinen Knoten oder eine Menge von Knoten die „Alter“ belastbar repräsentieren und auf die man einwirken könnte.

Diese Systeme können unter Umständen sehr effizient sein, belasten aber insbesondere marginalisierte Gruppen zusätzlich. Nicht nur werden diese Gruppen auf Basis der in den Trainingsdaten eingebetteten Vorurteile vom System diskriminiert, sie müssen zusätzlich jetzt noch in jedem Einzelfall Einspruch und Beschwerde einlegen ohne die Hoffnung, dass das System dadurch strukturell repariert werden kann. Die Benachteiligung und damit Ausschlusswirkung wird also durch die Struktur und Wirkweise des „KI“ Systems noch verstärkt. Dass diese Systeme dann zusätzlich noch besonders schnell sind und damit den ganzen Prozess „aufhitzen“ entfaltet ebenfalls eine negative Wirkung: Denn die berechtigten Beschwerden marginalisierter Personen werden noch zusätzlich als extreme Störung des effizienten Systems wahrgenommen.

Die Opakheit moderner „KI“ Systeme ist damit ein großes Problem für Fragen von Transparenz. Transparenz selbst ist natürlich kein Wert an sich, sie bildet allerdings die Grundlage, die es gesellschaftlichen Akteuren wie Journalist*innen aber auch Behörden selbst, NGOs und Betroffenen ermöglicht, Machtmissbrauch, Korruption, Diskriminierung und ähnliche Normenverstöße aufzudecken und damit zu kritisieren. Ohne eine gewisse Menge an Transparenz von Prozessen können demokratische Grundprinzipen wie die Kontrolle von Macht aber auch die immer nötige Evaluation und Weiterentwicklung unserer administrativen Systeme auf Basis von Änderungen in der Welt oder den Bedürfnissen der Menschen nicht stattfinden. Ein Mangel an Transparenz erschwert es, Prozesse zu verbessern.

„KI“ Systeme sind strukturell antitransparent. Selbst, wenn ich das neuronale Netzwerk und seine Parameter in der Hand halte, erklärt sich mir das Verhalten des Systems nicht. „KI“ Systeme haben aufgrund der Art, wie sie trainiert sind, einen konservativen Bias in dem Sinne, dass sie immer nur mit Daten aus der Vergangenheit trainiert wurden: „KI“ Systeme sind tendenziell immer rückwärtsgewandt und reproduzieren die Muster, die sie in ihren Trainingsdaten, die das gestern beschreiben, gesehen haben. Dieses etablierte Problem, das natürlich zu diversen Formen von Diskriminierung führen kann, wenn ein „KI“ System beispielsweise immer noch überkommene Bilder über LGBTQ Personen oder andere marginalisierte Gruppen auf Basis seiner Trainingsdaten reproduziert, wird im Kontext demokratischer Prozesse noch mit einer weiteren Form von Konservativismus angereichert: Weil bestehende „KI“ Systeme keine echte Evaluation erlauben, machen sie eine iterative Verbesserung und Anpassung schwieriger, bleiben damit also tendenziell statisch. „KI“ Systeme frieren den aktuellen Zustand der Verwaltung ein.

„KI“ als politisches Projekt

Wir haben im Laufe dieses Artikels „KI“ Systeme vor allem als Form von technischer, digitaler Automatisierung geframed. Das ist nicht ganz falsch, ordnet „KI“ Systeme aber auch in eine falsche Kategorie ein: „KI“ Systeme sind keine Werkzeuge.

Werkzeuge sind Artefakte, die von Menschen für spezifische Problemlösungen auf Basis ihres Verständnisses über die Problemdomäne designed und gebaut wurden. Sie enthalten große Mengen von Wissen und Erfahrung, die sich im Design des Artefaktes, in der Art, wie es Lösungen für Probleme anbietet niederschlagen und aus ihnen gelesen werden können. „KI“ Systeme als „Everything Machines“, die angeblich alles können, sind somit anders zu behandeln, als spezifische Systeme, die auf konkrete Probleme in spezifischen Domänen hin entwickelt wurden.

Es verdeutlicht sich gerade an der Art wie „KI“ Systeme als Lösung für alles dargestellt werden, wobei technisch sehr unterschiedliche Dinge „KI“ sein sollen, dass „KI“ kein technisches System ist, sondern auf anderer Ebene funktioniert. „KI“ ist alles, auf das man seine Fantasien von allmächtigen Maschinen oder Output ohne menschliche Arbeit projizieren kann, ob es ein LLM, ein Excel Macro oder ein Callcenter in Indien ist.

Der Forscher Ali Alkhatib stellte in einem kurzen Artikel mit dem Titel „Defining AI“ eine deutlich zielführendere Definiton von „KI“ auf: „KI ist ein ideologisches Projekt um Authorität und Autonomie von den Menschen weg hin zu zentralisierten Strukturen von Macht zu verschieben“3. Der ganze „KI“ Diskurs ist darauf ausgerichtet, die Möglichkeiten von Individuen auf die Prozesse, die sie umgeben, einzuwirken zu reduzieren. „KI“ Systeme sind aufgrund ihrer Kosten und der Komplexität im Aufbau und Betrieb faktisch nur durch Big Tech Unternehmen bereitstellbar. Und so verschiebt sich noch mehr Macht auf diese eh schon mit massiver ökonomisch begründeter Macht ausgestatteten Unternehmen, von denen sich demokratische Staaten immer abhängiger machen. Doch eine Reduktion von Möglichkeiten der politischen Einflussnahme durch die Bürger bei gleichzeitiger Reduktion der Möglichkeiten Macht zu kontrollieren und einer zunehmenden Zentralisierung von Macht bei nicht demokratisch legitimierten Tech Unternehmen ist gerade das Gegenteil demokratischer Prinzipien.

Durch Versprechen von Effizienz und technokratischer Neutralität schleifen „KI“ Systeme – wohlgemerkt nicht als technische Artefakte sondern als politisches Projekt – demokratische Werte und Strukturen, die diese Werte eigentlich sicherstellen sollten. Der „KI“ Einsatz zielt dabei, wie Alkhatib schrieb, explizit auf eine Entmündigung auf allen Ebenen ab:

  • Bürger*innen sollen weniger Einfluss auf Prozesse haben – Einfluss der zum Beispiel für eine Regulierung sorgen könnte, die Tech-Unternehmen nicht passen würde
  • Behörden und Regierungen sollen zunehmend abhängig werden von den technischen Infrastrukturen großer Konzerne, die ihnen die „optimalen“ Lösungen verkaufen

„KI“-Jünger versprechen, Demokratie effizient und adaptiv zu machen. Die Aufgabe von Demokratie ist aber überhaupt nicht, effizient zu sein, ganz im Gegenteil: Demokratie kann nicht so reibungslos ablaufen, wie der Verkaufsprozess in einem Online Shop. Staaten sind eben keine Unternehmen, die intern ihre Prozesse nur nach dem Ziel von Profitmaximierung ausrichten. Und insbesondere demokratische Staaten müssen sich, um die Werte und Grundlagen, auf denen sie konstruiert sind, zu schützen, gegen technokratische Übergriffe, die ihre Prozesse auf Effizienz hin umkrempeln wollen, stellen. Die Aufgabe demokratischer Staaten ist nicht, intransparente „KI“ Systeme zu integrieren sondern sich ihnen entgegenzustellen. „KI“ Systeme sind ein struktureller Angriff auf die Demokratie und nicht ihr Helfer. Wir brauchen nicht mehr Effizienz und Reibungslosigkeit für die Weiterentwicklung unserer Demokratien sondern Differenz, Debatte, Austausch und gegenseitiges Verständnis. Wir brauchen das Gegenteil von wasauchimmer „KI“ sein soll.


1Ein partieller Fehlschlag kann dabei sowohl die Nichterfüllung wichtiger Anforderungen wie auch die signifikante Überschreitung des Projektbudgets sein, ein vollständiger Fehlschlag eines Projektes ist der Abschluss des Projektes ohne einsatzbereite Lösung

2Eine Dynamik, die Mariana Mazzucato in ihrem Buch „The Big Con“ zurecht als Infantilisierung des Staates beschreibt

3Engl: „AI is an ideological project to shift authority and autonomy away from individuals, towards centralized structures of power.“

Read the whole story
tante
12 hours ago
reply
"„KI“-Jünger versprechen, Demokratie effizient und adaptiv zu machen. Die Aufgabe von Demokratie ist aber überhaupt nicht, effizient zu sein, ganz im Gegenteil: Demokratie kann nicht so reibungslos ablaufen, wie der Verkaufsprozess in einem Online Shop."
Berlin/Germany
Share this story
Delete

Sicherheit ohne Überwachung Redebeitrag

1 Comment

Am 13.06. durfte ich zum Programm der “Sicherheit ohne Überwachung” Demonstration einen Redebeitrag beisteuern. Diesen möchte ich hier kurz dokumentieren.

Das Thema Sicherheit ist heute nicht mehr nur eine Frage von Polizei oder anderen Sicherheitsbehörden sondern maßgeblich ein Technologiethema: Big Tech hat den Staat und seine Behörden als willige und zahlungskräftige Abnehmer für nahezu jedes noch so unmoralische System identifiziert.

Dabei sprechen wir in der Öffentlichkeit darüber sehr individualisiert. Auf Seiten von Big Tech sprechen wir z.B. über Peter Thiel’s und Alex Karp’s Palantir oder darüber wie die KI-Bros Sam Altman und Dario Amodei Sicherheitsbehörden mit Systemen beliefern, die am Ende sogar Kill Decisions treffen sollen. Wir sprechen viel über meist amerikanische Konzerne und ihre Chefs – als wären deren Firmenanschriften und Staatsangehörigkeiten das zentrale Problem.

Und auch auf unserer Seite als Betroffene sprechen wir oft sehr individuell: Über „unsere Daten“, die unrechtmäßig verarbeitet werden. Über Datenschutz und unsere Abwehrrechte. Als wären DSGVO-Verstöße das Problem. Wir können diesen Kampf nicht gewinnen, indem wir die falschen Probleme betrachten.

Was wir ablehnen müssen ist nicht, dass ein US Konzern für die Bundesregierung Überwachungsinfrastrukturen baut, sondern die Konzeption von Sicherheit als diese Form von unterdrückender Kontrolle selbst.

In den letzten Monaten kommt der Begriff des Faschismus zunehmend auf. Nicht nur in seiner parlamentarischen Ausprägung wie bei der AfD sondern auch als politische Strömung, der sich Big Tech und seine Leader von Peter Thiel bis Elon Musk anschließen. Was uns dabei klar sein muss ist, dass Sicherheit konzipiert als datenbasierte, homogenisierende, gewaltvolle Kontrolle faschistische Prinzipien in unsere Gesellschaft einbringt und vorhandene bestärkt.

Sicherheitstechnologien wie die von Palantir erzeugen die Erlaubnisstruktur zur Niederschlagung von Kritik und politischem Engagement und Aktivismus. Sie markieren – durch vorgeblich objektive, doch meist massiv diskriminierende Daten und Algorithmen – die Feinde des Systems, der Ordnung. Sie legitimieren und normalisieren die Ausübung struktureller und oft auch physischer Gewalt gegen die automatisiert bestimmten Feinde. Diese Normalisierung von Gewalt gegen den politischen Gegner ist ein klassisches Merkmal des Faschismus.

Die Einführung solcher Systeme unter der Prämisse des „Notstands“, der Verteidigung gegen – ja gegen wen oder was eigentlich? – erzeugt einen Kontext des Ausnahmezustands, einer Situation außerhalb geltenden Rechts und etablierter demokratischer Normen und Rechte. Einer Situation, in der Aufgrund der Schwere und Dringlichkeit der angeblichen Bedrohung, algorithmisch gesteuerte Systeme mitentscheiden dürfen – gar müssen -, wer Opfer von Gewalt werden, wessen Perspektive und Rechte geachtet werden sollen. Diese sogenannten Sicherheitssysteme erzeugen qua ihrer Existenz eine Hierarchisierung innerhalb der Gesellschaft entlang der Frage, wessen Identität und Überzeugung wie stark von der implementierten und erwünschten Norm – die zunehmend nach rechts verschoben wird – abweicht.

Sicherheitssysteme sollen durch technischen Fortschritt eine kontrollierte, starre Welt erzeugen, in der Abweichungen algorithmisch ausgemerzt werden. Ein Ausdruck eines zu tiefst antidemokratischen, faschistischen Verständnisses von Gesellschaft und Politik.

Natürlich müssen wir Systeme wie Palantir und andere Big Tech Systeme als Waffe gegen die Bevölkerung verhindern. Aber es darf da nicht aufhören. Wir wollen auch kein Europäisches Palantir oder ein souveränes Open Source Palantir. Wir wollen den Faschismus bekämpfen und ihn nicht über digitale Infrastrukturen weiter zementieren.

Wir müssen den Begriff der Sicherheit den Klauen der zunehmend faschistisch denkenden und handelnden Tech-Oligarchen und auch Politiker*innen entreißen und neu definieren. Sicherheit nicht als gewaltvolle Homogenisierung, Kontrolle und Unterdrückung, sondern als Ausdruck davon, dass die Grundbedürfnisse von Menschen unverhandelbar sind und von uns allen für uns alle ohne Kompromisse erfüllt werden müssen.

Ich glaube wirklich, dass es aus linker Perspektive absolut unverzichtbar ist, die zentralen Begriffe “Freiheit” und “Sicherheit” zu übernehmen. Als positiv und entlang menschlichen Bedürfnissen definierte Konzepte, die sich nicht an Wettbewerb, Ausgrenzung und struktureller Gewalt ausrichten sondern daran, allen Menschen die Grundlagen für ein würdiges, bereicherndes und glückliches Leben zu garantieren.

Freiheit entsteht aus Sicherheit. Aus der Sicherheit zu wissen, dass man niemals allein gelassen oder fallengelassen wird. Aus der Sicherheit, dass die eigenen Bedürfnisse erfüllt werden: Wohnung, Nahrung, Gesundheit, soziale Teilhabe, Selbstentfaltung. Erst dann werden wir frei sein können.

Read the whole story
tante
1 day ago
reply
"Freiheit entsteht aus Sicherheit. Aus der Sicherheit zu wissen, dass man niemals allein gelassen oder fallengelassen wird. Aus der Sicherheit, dass die eigenen Bedürfnisse erfüllt werden: Wohnung, Nahrung, Gesundheit, soziale Teilhabe, Selbstentfaltung. Erst dann werden wir frei sein können."
Berlin/Germany
Share this story
Delete

How to use NO as a complete sentence

1 Comment and 2 Shares
Sticker on bike rack that says GAY FLAMES MELT ICE.
Happy Pride. I found this sticker on a rack when I was chaining up my bike.

If you enjoy this newsletter please consider giving me $2/mo to help keep it going.


This week’s question comes to us anonymously:

I did my job fine before AI came along. Now my workplace ‘suggests’ we use it. How do I say no?

Sigh. Fuck. Fine. OK. Buckle up.

Let’s talk about the 1990 Texas governor’s race.

In 1989, I moved from Philadelphia to Austin for graduate school. Having grown up in the middle of an East Coast city and suddenly finding myself in what was still, at the time, either a small city or a big town—depending on your world view—was… jarring. It was neither better, nor worse. It was just… different. So mostly I watched. I watched how other people behaved. I watched how other people interacted with one another. And I looked for cues on how to behave in this new place. (First parenthetical aside: In Philadelphia, when two people cross on the sidewalk you nod. The nod is an acknowledgement of safe passage. Much like clinking glasses during a toast started as proof that I had not poisoned your drink, nodding was reassurance that I was not going to turn around and stab you after we’d crossed. I was raised to nod. My first morning in Texas, I went for a walk to explore my new neighborhood and someone came walking in my direction. Just as I was preparing to nod, he bolted out “Good morning!” in a loud reassuring way not unlike Foghorn Leghorn, had Foghorn been raised a little further west. So that was new. In San Francisco, where I live now, people neither nod nor say “Good morning!” They purse their lips, as if they’re disappointed that they aren’t crossing paths with someone of a higher net worth.)

Shortly after I moved to Austin, Texas decided to elect a new governor. Mainly because the current governor, who is not important to this story, got caught with his hand in the wrong cookie jar. The Democrats decided to run Ann Richards, who I knew nothing about at the time, but certainly grew to admire. The Republicans, for their part, decided on a good-ole-boy cattle rancher from Midland named Clayton Williams. (Second parenthetical aside: At this point in history, this point being 1990, Texas had elected exactly one (not a typo) Republican governor since Reconstruction. One. So when they tell you that Texas has historically been a deep red state that is bullshit. It has recently elected a slew of Republicans, which is as much about gerrymandering as it is about any change in voter sentiment. Much like when California is described as a solid blue state and I remind people that we gave the world both Richard Nixon and Ronald Reagan, which my neighbors love being reminded of, even as they vote for Daniel Lurie and vote down propositions to tax billionaires fairly.) (Wait, open the parenthetical back up. As long as we’re here—I should make note that Ann Richards, Molly Ivins, and Barbara Jordan were, at one point, the strongest political trinity in the state of Texas, and I have no particular reason to name all three of them today, but I enjoy doing it, and you should read up on all three of them.)

Anyhoo… Clayton Williams was very much a Texas “good ole boy” who made lots of money on oil, cattle, telecom, and other Texas-like businesses. He liked smiling, shaking people’s hands, being on television, and telling jokes. For her part, Ann Richards also enjoyed those things, and as an added bonus enjoyed—and excelled at—civil service. The media, both state and national, had a great time with the campaign, dubbing it “Claytie vs The Lady” (cringe). This all came to a grinding halt when Clayton Williams decided to kick the ball into his own goal and pronounced—unprovoked, mind you—that rape was like the weather and that "if it’s inevitable, just relax and enjoy it.” In 1990, even in Texas, this was enough to kill a campaign. Which it did. Ann Richards went on to be a fine governor. (Fun fact: her daughter Cecile Richards went on to be the president of Planned Parenthood from 2006–2018. Sadly, we’ve lost them both.)

Now why the fuck did I just write three long paragraphs about the Texas gubernatorial campaign when I’m supposed to be writing about AI? Because the language we are using about AI adoption is very similar to how Clayton Williams described rape.

“It’s happening whether you want it or not.”

“Better get on board if you know what’s good for you.”

“If you want to keep working here, this is what it takes.”

“It’s inevitable, just relax and enjoy it.”

Am I comparing AI to rape? I am not. I am, however, comparing the language we use when discussing AI adoption to the language of rape culture. It’s the language of coercion. Language that implies a lack of choice and reminds you of the power those who are using it have over you. A lack of agency. It’s language that does not rely on consent, but instead the idea that we are bereft of choices, so we might as well get with the program. A program which is being foisted on us by—if you take a look at the group photo—men. And not just men, but men who like to cozy up to—and hand awards to—a convicted rapist. (Third parenthetical aside: in 2002, when the AI bubble was still a misfiring synapse in Marc Andreesen’s very large head (probably a result of eating a twin in utero) an AI Summit was held in the Virgin Islands. Specifically in the Virgin Island that was home to Jeffrey Epstein, which was convenient because the summit happened at his retreat. And yes, he footed the bill. The fact that Jeffrey Epstein was curious about a technology that eliminated consent should surprise no one.) These are not men with a lot of introspection. In fact, they proudly tout their lack of introspection. Which is a mark of a sociopath.

We’ve talked a lot about whether AI is “good” or “bad” and we should continue to do so. But it’s also worth having a conversation, or two, or a thousand, about how—and why— it’s being rolled out, at this particular moment in time, by this particular set of people, for whom the language of coercion appears to come naturally. And why people are fighting back against it.

Designers are notoriously disloyal, which I mean as a positive. Let me explain. When I was coming up as a designer, we used Photoshop to do all of our comps, a tool famously not made for doing comps. But it worked, if not perfectly. Every few years another tool would come around to knock Photoshop off its perch, we would try it for a few days, and inevitably sigh and go back to Photoshop. Not out of loyalty, mind you. But because whatever the other tools offered weren’t enough to offset the learning curve. Until the day Figma showed up. We tried it, and the majority of designers never looked back. Entire companies switched to Figma seemingly overnight. And here’s the important part: this didn’t happen because of some top-down mandate, but because the workers found a tool that made their job easier. It was, for the most part, a worker-driven shift. Like I said, we’re disloyal. We’re happy to adopt tools that make our lives easier.

And while there are certainly workers who’ve embraced AI tools—I’ll let them provide their own reasoning elsewhere—what I’m seeing is the opposite of a worker-driven shift. Management is driving the shift to AI. And it’s going as well as you’d expect. Let me give an example, in addition to this week’s question.

A few weeks ago I was talking to a friend who works at a fairly well-regarded company in San Francisco. They’re an engineer. They’ve been working as an engineer at this company for a few years. They enjoy what they do, they enjoy working with their team, and from what they’ve told me, they do their job well. I believe them. A few months ago they received a mandate from management to start using Claude, and everyone got their allotment of tokens. Sure, they were open to it. So they asked management for guidance.

“How do you want us using it?”

“What can it help us to do better?”

“Where are you seeing room for improvement, and how do you see Claude helping us improve in those areas?”

These are good questions. They’re not the questions of haters or boosters. They’re questions of workers open to doing their jobs better. The answers they got back from management only qualified as answers because they immediately followed a question. They were told that from now on their jobs would be measured by how much they used Claude. I’m sure lots of readers are nodding along right now because they’re either in that situation, or sitting at home in the aftermath of that situation. For reasons that had nothing to do with the workers’ efficiency, or client satisfaction, or anything that even vaguely resembled the ghost of a metric, the entire team had to change how they worked, and the tools they used, for secret reasons. Naturally, morale took a nosedive.

“It’s happening whether you want it or not.”

Earlier this week I did a Q&A with the graduating class at Glasgow School of Art. I love talking to students. But more importantly, I like listening to students. I want to know what they care about. I want to hear their concerns. I’ve been doing an annual Q&A with this particular school for a few years now. Usually their questions come in a range of topics. This year there was one topic. They were concerned about AI. And again, it wasn’t whether AI was good or whether AI was bad, but how AI was being used to decimate a workforce they were about to enter. Most of them feel like they’re graduating into a field where they’re no longer welcome. We have a new generation of people who want to do the work, they’re excited to do the work, they want to prove they can do the work.

We’re going to lose these kids.

One of the things the students mentioned is they go out into social media and see “design leaders”—people they look up to—talking about how this shit is inevitable, and how it’s coming whether you want it or not, how we’re going to get left behind if we don’t comply, etc., etc., etc. And it makes them feel hopeless. Of course it does. This field (or fields, whatever) is now describing the future in the language of coercion. Because this appears to be something that the leaders in this field are very comfortable with. Force. They look out over a decimated workforce, struggling to pay their rent and they call it abundance. (For who?!)

These fucks have decided that the future is already written, and that it is written in their favor. These sad sociopathic fucks are attempting to write a future where everything and everyone behaves in a way that benefits them. Where no one gives them lip. Where no one tells them no. Where no one defies them. Where consent has been taken off the table. Where they can get what they want, from who they want, when they want it.

And that you should just “relax and enjoy it” when they thrust their vision of a future upon you. For which I would like to remind you that very few of you had any idea who Clayton Williams was before you read this essay. Because he was a loser. And because the future remains unwritten.

TL;DR: “No” is—and has always been—a complete sentence.


🙋 Got a question? Need an answer? Ask it! This newsletter runs on your questions.

📓 I’ve got a whole book of collected essays that came from this newsletter you just enjoyed. It’s called How to die (& other stories), and I’ve been told that it helps people get through shit times. Grab a Gilly pin and I’ll ship ‘em out together!

🥝 Speaking of which—the virtual book tour is making a stop in Auckland, New Zealand where I will chat with the amazing Sacha Judd, whose newsletter very much worth subscribing to! It’s either happening on June 11 or June 12, depending on which side of the International Date Line you’re on. It’s free, but you need to register.

🆘 I also do 1-on-1 sessions if you need advice. Just me and you.

🖤 RIP Marjane Satrapi. Persepolis is required reading.

🍉 Please give what you can to the children of Gaza. Our government is murdering them.

🏳️‍⚧️ Please give what you can to help Trans Lifeline help people our government is hunting.

Read the whole story
tante
9 days ago
reply
"the language we are using about AI adoption is very similar to how Clayton Williams described rape.

“It’s happening whether you want it or not.”"
Berlin/Germany
Share this story
Delete

Mathematicians warn of AI threats to profession as industry encroaches

1 Comment

Mathematicians warned against rising tech industry influence in a declaration describing the many challenges that AI poses to mathematics research. The timing of the declaration comes two weeks after OpenAI publicized one of its AI models as having disproved an 80-year-old mathematical conjecture in geometry.

The declaration was developed by a working group of 16 researchers over eight months following a conference held at Leiden University in the Netherlands in September 2025. Published on June 2, 2026, the resulting Leiden Declaration on Artificial Intelligence and Mathematics has been endorsed by the International Mathematical Union—the international non-governmental organization that hosts conferences and oversees the most prestigious prizes in mathematics such as the Fields Medal.

“Mathematicians should find it quite striking that tech companies are suddenly interested in their work,” said Kevin Buzzard, a mathematician at Imperial College London, in a statement. “The Leiden Declaration is a well-thought-through response to what is currently happening, as AI continues to disrupt this space.”

Read full article

Comments



Read the whole story
tante
14 days ago
reply
"The Leiden Declaration, […] warns that recent AI developments are threatening “characteristic values” of mathematical research, “often in ways that disproportionately affect students and early-career mathematicians, and hence the long term future of the discipline.”"
Berlin/Germany
Share this story
Delete

Good News About Work And AI!

1 Comment and 2 Shares


TRANSCRIPT OF CARTOON

This cartoon has six panels, each of which shows a different scene. The first five panels all feature cheerful robots in office environments.

PANEL 1

A shiny golden robot talks to the viewer.

GOLDIE: Good news! Here are just some of the ways AI saves you time and makes your job better!

PANEL 2

A robot – which seems to be a suit and tie with a smartphone sticking up out of the collar – talks to us. He’s carrying a huge stack of papers.

PHONE: Good news! Because your new AI agent is expected to save you so much time, the company is providing you with extra work!

PANEL 3

A tiny robot that looks like a ball with hands is bouncing on a desk.

BOUNCY: Good news! The AI agent makes lots of mistakes, so you get to do proofreading and debugging! Yay!

PANEL 4

A robot with a head shaped like a Telsa Cybertruck talks to us. A bunch of other robots are in the background.

TELSA: Good news! The company has determined you’ll get more work done with more AI agents doing more bad work for you to check and correct!

PANEL 5

A coffee machine with a screen with a happy face on it talks to us.

COFFEE: Good news! More of your colleagues are letting AI do their jobs, so now you get to fix that work, too!

PANEL 6

A human with a shellshocked look is walking on a sidewalk, carrying a cardboard box full of desk stuff in classic I’ve-just-been-fired iconography. A caption is shaped like a memo on paper.

CAPTION: Good news! We’ve determined that bad work done by A.I. is more cost-effective than better work done by humans.

CHICKEN FAT WATCH

“Chicken fat” is obsolete jargon for what we now call “Easter eggs.”

PANEL 1: A poster on the wall says LESSER EVIL INCORPORATED. “If it’s not lethal, it’s a lesser evil.” A rat sits reading a book, Charlotte’s Web.

PANEL 2: A gigantic ant is climbing a skyscraper in the background.

PANEL 3: A picture of an adorable toddler is inscribed “I heart you Mommy! Always remember if u quit ur job I’ll starve.” A “to do” list says: “-Work -Work -Work -Labor -Toil -Lunch -Drudge -Slog -die.” A coffee mug, decorated with Charlie Brown’s zig-zag shirt line, has a mouse wearing glasses peering out of it.

PANEL 4: One of the robots is a toaster. The robot puppy has left poo (a steaming pile of nuts and bolts) on the ground. The cybertruck robot’s head is on fire, and if you peer closely at the passenger window you can see a screaming person trapped inside.

PANEL 5: The coffee cup has a picture of Bender from Futurama on it. There’s an electric outlet with two “faces”; one of the faces is the standard, the other one is smiling and winking at us. A poster says “NOTICE: Cups must be cleaned after death.” A cannister is labeled “82% real Sugar,” with an adorable granny mascot saying “What you don’t now won’t kill you, probably.”

PANEL 6: The box of stuff from the fired employee’s desk includes a coffee mug; the mouse from panel 3 is still in the mug. A jar on the sidewalk says “Background Juice” on the label.

And there’s graffiti! “BG” (for background) is written in a few places. Someone has written a list of jobs: “Priest Poet Lawyer Marine Squire Grocer Vicar.” (Let me know in comments if you know where that list comes from.) A game of “hangman” is in progress: “A_S_ER.” (You see the answer, right?) More things written on the wall: “Filler.” “Who reads this?” “PP + Marcie 4EV.” “E=M.C. Hammer.” “Mary + Charlie + Frank.” Finally, a poster on the wall is partly blocked by the caption, but I can tell you it says “Secret Hidden Text! Because you can’t read this text: At last, I’m free to say it: Basketball is BORING! Bite me, b-ball fans!”


Good News About AI and Work! | Patreon

Read the whole story
tante
14 days ago
reply
"AI" and effects on work
Berlin/Germany
Share this story
Delete

Tom Enders, René Obermann und Moritz Schularick legen Masterplan für die europäische Aufrüstung vor

1 Comment
Deutschland und andere europäische Staaten geben Milliarden für Rüstung aus, bleiben aber auf die USA angewiesen. Prominente Wissenschaftler und Topmanager wollen das ändern. Das ist ihr Plan.

Read the whole story
tante
41 days ago
reply
Zu diesem "Sparta 2.0" plan fällt mir wirklich auch nix mehr ein. geht nicht schnell genug mit Faschismus 2.0 in Deutschlad?
Berlin/Germany
Share this story
Delete
Next Page of Stories