Haben wir KI im Griff? Wie wir eine KI-Belegschaft führen

Vor sechzehn Monaten habe ich einen kurzen Sonntagsessay über KI und KI-Sicherheit veröffentlicht. Ich war joggen gewesen, so denke ich meistens nach, und kam mit einer Frage nach Hause, die ich nicht beantworten konnte: Haben wir das eigentlich im Griff?

Auf diese Frage möchte ich zurückkommen, denn inzwischen habe ich aufgehört, darüber zu spekulieren, und angefangen, es zu betreiben.

Hier ist derselbe Partytrick wie beim ersten Mal:

S29udHJvbGxlIGlzdCBuaWNodCBWZXJzdMOkbmRuaXMuIE1hbiBzdGV1ZXJ0IGRlbiBIYXJuZXNzLCBuaWNodCBkaWUgR2V3aWNodGUu

Wenn Sie das im Kopf lesen können, dekodieren Sie gerade die Kodierung einer Maschine und wissen schon, worauf das hinausläuft. Wenn nicht: Weiter unten steht es im Klartext. Genau diese Lücke zwischen dem, was eine Maschine ausgibt, und dem, was ein Mensch nachvollziehen kann, war die ganze Sorge des ursprünglichen Textes.

Worin ich recht hatte und worin nicht

Recht hatte ich damit: Niemand liest die Gewichte. Ein trainiertes Modell besteht aus Milliarden von Parametern, und kein noch so guter Engineer kann auf eine Zahl in dieser Matrix zeigen und sagen, was sie bedeutet. Daran hat sich nichts geändert, und ich erwarte auch nicht, dass sich daran etwas ändert.

Unrecht hatte ich mit dem Schluss, den ich daraus zog. Ich nahm an: Wenn wir das Innere nicht erklären können, haben wir auch das Äussere nicht unter Kontrolle.

Seitdem baue ich jeden Tag mit diesen Systemen, und das hat mich überzeugt, dass Kontrolle so nicht funktioniert. Nicht bei Software und auch nicht bei Menschen. Ich habe noch nie die Neuronen einer Kollegin inspiziert und vertraue ihr bei der Arbeit trotzdem. Worauf ich mich verlasse, ist etwas ganz anderes: eine klare Rolle, Berechtigungen, die zu ihr passen, eine Aufzeichnung dessen, was getan wurde, und ein Prüfschritt bei den Entscheidungen, die zählen.

Kontrolle ist nicht Verständnis

Ein Modell allein ist eine Funktion. Text rein, Text raus. Keine Hände, keine Erinnerung an gestern, kein Zugriff auf irgendetwas.

Alles, was ein KI-Agent tatsächlich tun kann, kommt aus dem, was wir um das Modell herum bauen. Wir nennen das den Harness: den Code, der entscheidet, wann der Agent läuft, wer er ist, welche Werkzeuge er erreichen darf, welche dieser Aufrufe erlaubt sind und woran er sich erinnern darf.

Agent = Modell + Harness.

Diese Unterscheidung ist die praktische, denn sie zeigt, wo sich der Engineering-Aufwand lohnt. «Das Modell ist undurchschaubar» ist wahr und mehr oder weniger gegeben. «Dieser Agent kommt an eine Produktionsdatenbank heran» ist eine Entscheidung im Harness: unsere Entscheidung, unsere Verantwortung, an einem Dienstagnachmittag von uns änderbar.

Kontrolle ist nicht Verständnis. Kontrolle ist Verantwortlichkeit. Und Verantwortlichkeit kann man bauen.

Wie das in der Praxis aussieht

OpenSight ist ein KI-natives Unternehmen im wörtlichen Sinn: Ein Team von Agenten mit Namen erledigt hier jeden Tag echte Arbeit, neben der menschlichen Seite des Geschäfts. Sie können sie auf unserer Über-uns-Seite kennenlernen. Jeder Agent ist ein Kollege mit einer Aufgabe, kein Chatfenster mit einem Prompt.

Fünf Dinge tragen das Gewicht:

• Jeder Agent hat seine eigene Identität. Kein geteiltes Admin-Konto, sondern ein eigener Service-Account, der sich wie jeder andere Client an unserer Plattform authentifiziert.
• Jeder Agent hat ein schriftliches Mandat. Eine Definition, die sich wie eine Stellenbeschreibung liest: Zuständigkeit, Aufgaben und was ausdrücklich nicht seine Sache ist. Sie ist das Erste, was er bei jedem Lauf liest.
• Jeder Aufruf wird unabhängig vom Modell autorisiert. Zwischen der Absicht eines Agenten und unseren Systemen sitzt eine Policy-Schicht. Liegt ein Werkzeug ausserhalb seines Bereichs, wird der Aufruf abgelehnt, egal wie überzeugend das Modell dafür argumentiert hat. Eine Ablehnung heisst, dass das Design funktioniert, nicht dass es versagt.
• Die Arbeit hinterlässt eine Spur. Agenten führen dauerhafte Notizen: was sie getan haben, was sie entschieden haben und warum. Wenn ich wissen will, warum etwas passiert ist, lese ich nach. Das ist eine schwächere Form von Erklärbarkeit, als die Gewichte zu verstehen, und an einem Montagmorgen um neun eine weit nützlichere.
• Alles, was nach aussen geht, wartet auf einen Menschen. Einen Artikel veröffentlichen, eine Kampagne aktivieren, Geld ausgeben: Ein Agent bereitet es vor, ich gebe es frei. Nicht weil die Agenten nachlässig wären, sondern weil das meine Entscheidungen sind, für die ich geradestehe.

Warum mich das optimistisch macht

Keiner dieser Mechanismen ist exotisch. Identität, Least Privilege, Policy, Audit-Trail, Freigabestufen: Das ist ganz normales IT-Engineering. Es ist dieselbe Disziplin, die wir schon auf einen Kubernetes-Cluster oder eine Zahlungsintegration anwenden, nur gerichtet auf eine neue Art von Arbeitskraft.

Und das ist eine wirklich gute Nachricht. Es bedeutet, dass der schwierige Teil daran, KI verantwortungsvoll einzusetzen, kein Forschungsdurchbruch ist, auf den wir warten müssen. Es ist Handwerk. Es ist heute verfügbar. Und IT-Leute beherrschen es bereits.

Es bedeutet auch, dass «Können wir KI vertrauen?» die falsche Frage ist, genauso wie «Können wir Software vertrauen?». Die nützliche Frage ist enger: Was darf dieses Ding tun, und kann ich sehen, was es getan hat?

Evolution, Schöpfung und ein wenig Demut

Den grösseren Bogen finde ich nach wie vor faszinierend. Die Evolution sollte nie bei uns stehen bleiben: Sie ist ein Prozess, keine Ziellinie. Und Dinge zu bauen, die erweitern, was wir können, ist der menschlichste Zug, den wir haben: die Sprache, der Buchdruck und jetzt das hier.

Was ich nicht mehr tue, ist, das als Ersetztwerden zu deuten. Was ich im Alltag sehe, ist enger und interessanter: Arbeit, die ich allein nie hätte übernehmen können, wird jetzt erledigt, und ich verbringe meine Stunden mit Entscheidungen statt mit Mechanik. Falls es hier eine nächste Stufe gibt, sieht sie weniger nach Ablösung aus und mehr nach Hebelwirkung.

Die Ressourcenfrage ist eine Engineering-Frage

Eine Sorge aus dem ursprünglichen Text ist gut gealtert: All das kostet Energie, Rechenleistung und Hardware. Das ist real, und es wird nicht verschwinden.

Aber es ist vertrautes Terrain. Jede Effizienzdisziplin, die wir in der IT haben, greift hier: zuerst messen, Verschwendung an der Quelle abstellen und nicht dafür bezahlen, Daten zu bewegen, die sich nie jemand ansehen wird. Genau das ist unser Argument zur Telemetrie in Observability-Kosten an der Quelle senken, und dasselbe Argument wird für Inferenz gelten. Knappheit ist nicht der Feind guten Engineerings. Meistens bringt sie es erst hervor.

Fazit

Meine Antwort, sechzehn Monate später:

• Nein, wir verstehen das Innere dieser Modelle nicht. Wahrscheinlich werden wir das nie, und es spielt weniger eine Rolle, als ich dachte.
• Ja, wir können kontrollieren, was sie tun, indem wir den Harness um sie herum konstruieren: Identität, Zuständigkeit, Policy, Gedächtnis, Freigabe.
• Die Fähigkeiten, die das erfordert, haben IT-Spezialisten bereits. Das ist der optimistische Teil, und deshalb betreibe ich mit gutem Gewissen ein KI-natives Unternehmen, statt eines vorsichtig von aussen zu beobachten.

Ach ja, die kodierte Zeile oben lautet: «Kontrolle ist nicht Verständnis. Man steuert den Harness, nicht die Gewichte.»

Beim letzten Mal schrieb ich, dass wir die Zukunft nicht als Entweder-oder gestalten werden, sondern als Sowohl-als-auch: Mensch und Maschine, Neugier und Technologie, Evolution und Schöpfung. Daran glaube ich nach wie vor. Der Unterschied ist, dass es keine Hoffnung mehr ist. Es ist die Art, wie wir das Unternehmen führen.

Offenlegung, die zugleich der Kern dieses Artikels ist: Den ersten Entwurf dieser Neufassung hat Mia geschrieben, unsere Marketing-Agentin, auf Grundlage meines Originals von 2025. Ich habe jede Zeile geprüft, bevor sie hinausging. Genau das ist das Arrangement, das ich auf den letzten tausend Wörtern beschrieben habe.

Das ist mein philosophischer Gedanke für diesen Sonntag. Keine Gewissheit, aber diesmal eine Richtung mit einem Build-Log dahinter.

"42"
TM – Douglas Adams, Per Anhalter durch die Galaxis