Eine der häufigsten Fallen bei KI-Projekten ist nicht das technische Scheitern. Es ist das Ausbleiben einer klaren Antwort: Hat es funktioniert? Viele Piloten enden in einem Graubereich aus „läuft ganz gut" und „aber eigentlich hatten wir mehr erwartet" - ohne dass irgendjemand vorher definiert hat, was Erfolg bedeutet.

Das lässt sich vermeiden. Und zwar nicht hinterher, sondern bevor der erste Entwickler eine Zeile schreibt.

Erfolgskriterien vor dem Start definieren

Die Frage „War der Pilot erfolgreich?" muss beantwortbar sein - mit Ja oder Nein, nicht mit „kommt drauf an". Das setzt voraus, dass Sie vor dem Start konkret festlegen, was Sie erwarten.

Drei Dimensionen sind dabei relevant:

Technische Qualität: Wie genau arbeitet der Agent? Eine Erkennungsrate von 80 Prozent bei Auftrags-E-Mails klingt gut - ist sie ausreichend für Ihren Betrieb? Oder brauchen Sie 95 Prozent, weil die anderen 20 Prozent zu aufwendig zu prüfen sind? Das ist eine Entscheidung, die Sie treffen müssen, bevor Sie die Zahl kennen.

Zeitersparnis: Wie viel Zeit verbringen Ihre Disponenten heute mit dem Prozess? Messen Sie das vor dem Pilot. Eine Schätzung reicht nicht - sie führt hinterher zu Diskussionen. Zehn Minuten pro Auftrag, fünfzig Aufträge täglich: das sind konkrete Zahlen, an denen sich der Pilot messen lassen kann.

Akzeptanz im Team: Das ist die am häufigsten vergessene Dimension. Ein Agent der technisch funktioniert, aber von den Disponenten nicht genutzt wird, ist kein Erfolg. Wie nimmt Ihr Team den Agenten an? Vertrauen sie seinen Ergebnissen? Eskalieren sie zu viel oder zu wenig?

Kennzahlen die wirklich zählen

Nicht alle Kennzahlen sind gleich nützlich. Einige klingen gut, sagen aber wenig.

Erkennungsrate: Der Anteil der Eingaben die der Agent korrekt verarbeitet ohne Eskalation. Das ist die wichtigste technische Kennzahl. Aber: korrekt verarbeitet bedeutet nicht „hat eine Antwort produziert" - es bedeutet „hat die richtige Antwort produziert". Diese Unterscheidung ist entscheidend.

Eskalationsrate: Wie viele Fälle gibt der Agent zur manuellen Prüfung weiter? Zu niedrig ist genauso problematisch wie zu hoch. Ein Agent der nie eskaliert ist entweder perfekt oder blind. Ein Agent der jeden zweiten Fall eskaliert, schafft mehr Arbeit als er abnimmt.

Bearbeitungszeit: Wie lange dauert die Verarbeitung eines Auftrags mit Agent im Vergleich zu ohne? Das schließt die Zeit für manuelle Prüfung der Eskalationen ein.

Fehlerrate: Wie viele Fehler macht der Agent - falsche Adressen, vertauschte Felder, übersehene Referenznummern? Und wie viele Fehler hat der manuelle Prozess vorher gehabt? Beides messen, dann vergleichen.

Ohne Erfolgskriterien vor dem Start ist jeder Pilot erfolgreich – oder keiner.

Was kein gutes Erfolgskriterium ist

„Der Agent läuft stabil." Das ist eine technische Voraussetzung, kein Erfolgskriterium.

„Das Team ist zufrieden." Zu subjektiv ohne konkrete Messung dahinter.

„Wir haben Zeit gespart." Wie viel? Im Vergleich wozu? Ohne Baseline-Messung vor dem Pilot ist diese Aussage wertlos.

Der wichtigste Satz vor dem Start

„Wenn der Pilot folgendes erreicht, implementieren wir den Agenten in der Produktion:" - und dann drei konkrete, messbare Kriterien.

Wenn Sie diesen Satz vor dem Pilot nicht schreiben können, ist der Pilot noch nicht bereit für den Start.