Anruftranskription und -bewertung, die ein QA-Team ersetzten – für ein 40-köpfiges B2B-SaaS-Vertriebsteam.

Zweistufige Spracherkennung. Deepgram Nova-2 läuft in Echtzeit gegen den laufenden Anruf für Beschriftungen und Coaching-Hinweise mit unter einer Sekunde Latenz. Whisper Large-v3 – feinabgestimmt auf rund 180 Stunden beschrifteter Kundenanrufe, um Produktnamen, Interessentenunternehmen und interne Abkürzungen zu erfassen – läuft asynchron auf der vollständigen Aufnahme und wird zur maßgeblichen Quelle für die Bewertung. Nova-2 für Geschwindigkeit, feinabgestimmtes Whisper für Genauigkeit. 96 % Genauigkeit auf Wortebene im Test-Set des Kunden, gegenüber 87 % mit dem Standard-Whisper-Modell.

Playbook als Pydantic-Code, nicht als Prompt. Das 30-Kriterien-Schema wird in ein Pydantic-Modell kompiliert: 14 Discovery-Kriterien, 9 Demo-Kriterien, 7 Abschluss-Kriterien. Jedes Kriterium verfügt über einen Bewertungs-Prompt für das Large Language Model, einen Beleg-Extraktor, einen Bewertungsbereich und einen Ablehnungspfad. Eine Kriterienänderung ist ein Pull Request, keine Prompt-Engineering-Sitzung. Das Bewertungsmodell (GPT-4o) liefert eine schema-validierte Antwort pro Kriterium – Belegnachweise, Punktzahl, Begründung.

Echtzeit-Coaching. Deepgram Nova-2 streamt in einen LangGraph-Coaching-KI-Agenten, der dem Vertriebsmitarbeiter Hinweise über ein Electron-Desktop-Overlay anzeigt: „Interessent erwähnte Budget – fragen Sie nach dem Entscheidungszeitplan", „Sie reden seit 90 Sekunden am Stück – stellen Sie eine Frage." End-to-end-Latenz unter 300 ms, sodass Hinweise ankommen, bevor der Gesprächsmoment verstrichen ist.

Evaluierungs-Harness auf 500 doppelt bewerteten Anrufen. Bevor das System in Betrieb ging, ließen wir erfahrene Prüfer 500 Anrufe unabhängig voneinander bewerten. Das ist die Grundwahrheit. Jede Änderung am Bewertungsmodell durchläuft diesen Harness. Wir wussten, dass das System 89 % Übereinstimmung mit erfahrenen Prüfern erreicht hatte, bevor es in Produktion ging – und wir bemerken sofort, wenn eine Änderung die Quote unter 85 % drückt.

Kunden-AWS, per Terraform eingespielt. Der gesamte Stack – Spracherkennung, Bewertungsdienst, Coaching-Dienst, Postgres, Objektspeicher – läuft im AWS-Konto des Kunden. Azure-OpenAI-Endpunkt mit konfiguriertem Datenspeicherort. Wir haben das Terraform geschrieben; der Kunde besitzt die Infrastruktur.

1. Spracherkennung feinabstimmen, nicht damit abfinden. 87 % Genauigkeit mit dem Standard-Whisper klingt akzeptabel – bis man erkennt, dass jeder Produktname, jedes Interessentenunternehmen und jede interne Abkürzung in den 13 % steckt, die falsch transkribiert werden. Anrufe auf Basis fehlerhafter Transkripte zu bewerten ist schlimmer als gar nicht zu bewerten. Sechs Stunden GPU-Zeit für die Feinabstimmung haben sich innerhalb einer Woche amortisiert.

2. Das Playbook ist Code, kein Prompt. Dreißig Kriterien in einem Prompt sind nicht wartbar. Dreißig Kriterien als Pydantic-Modell mit einer Bewertungsfunktion pro Kriterium sind versioniert, testbar und mit Diff-Werkzeugen prüfbar. Als der Vertriebsleiter die Bewertung von „Discovery-Tiefe" änderte, war das ein Pull Request mit einem Evaluierungslauf – keine panische nächtliche Prompt-Überarbeitung.

3. Coaching-KI-Agent und Bewertungsmodell sind getrennt. Das Coaching läuft auf GPT-4o-mini, weil es schnell sein muss. Die Bewertung läuft auf GPT-4o, weil sie präzise sein muss. Selbes Unternehmen, unterschiedliche Budgets, unterschiedliche Latenzanforderungen – ein Modell für beides zu zwingen, ist der falsche Ansatz.

4. Doppelt bewertetes Evaluierungs-Set vor dem Launch. 500 Anrufe, jeweils von zwei erfahrenen Prüfern bewertet. Das ist die Grundwahrheit, die das Large Language Model erreichen muss. Ohne sie hat man keine Ahnung, ob man bei 70 % oder 90 % Übereinstimmung liegt – und der Vertriebsleiter, dem man das System verkauft, auch nicht.