Milina — ein KI-Telefonassistent, der 50+ Reservierungen pro Nacht zu 0,09 $ pro Anruf abwickelt

Voice-Infrastruktur: LiveKit Cloud. Wir starteten mit Vapi für das MVP und migrierten in Woche 3 zu LiveKit, als wir deterministische Kontrolle über das Gesprächssteuerungs-Verhalten und geringere Latenz auf Media-Ebene benötigten. LiveKit's Agents-Framework ermöglicht es, das Turn-Taking-Modell, STT, LLM und TTS im gleichen Prozess mit direktem Audio-Routing zu betreiben – daher stammt die p50-Antwortzeit unter 700 ms.

STT: Deepgram Nova-2. Wir evaluierten Whisper Large-v3, Deepgram Nova-2 und AssemblyAI Universal-2 anhand eines Testsets aus 200 echten Anrufen der tatsächlichen Telefonleitung des Kunden (New Yorker Akzente, spanischsprachiges Englisch, Restaurantgeräusche). Nova-2 gewann bei der Wortfehlerrate für unser spezifisches Audioprofil und erreichte dabei etwa ein Drittel der Latenz von Whisper.

LLM: GPT-4o-mini mit strukturierten Tool-Calls. Der Agent arbeitet nicht frei formulierend – er führt eine Zustandsmaschine mit sechs Absichten (Reservierung, Änderung, Stornierung, Warteliste, Öffnungszeiten/Information, Übergabe) und 14 Unterabsichten aus. GPT-4o-mini ist für diesen Umfang mehr als ausreichend und kostet ein Zwanzigstel von GPT-4o; das strukturierte Ausgabeschema hält den Agenten auf Kurs. Claude Haiku dient als Fallback für komplexe Umbuchungslogik, bei der der Denkschritt entscheidend ist.

TTS: Cartesia Sonic Englisch + Spanisch. Wir haben ElevenLabs Flash, Cartesia Sonic und Azure Neural in einem Blindtest mit 40 echten Kunden verglichen. Cartesia Sonic überzeugte durch zweisprachige Konsistenz – dieselbe Stimme auf Englisch und Spanisch, ohne den störenden Stimmwechsel, den die meisten TTS-Engines vollziehen. Latenzbudget: 120 ms bis zum ersten Audio-Chunk.

Reservierungssystem-Integration: Resy API + SevenRooms-Fallback. Direkte API-Aufrufe für Tischverfügbarkeit, Buchung, Änderung und Stornierung. Eine strukturierte Notiz wird ins POS (Toast) geschrieben, sodass das Empfangspersonal beim Eintreffen der Gäste den Kontext sieht. Das vollständige Gesprächstranskript wird gespeichert und mit Tags versehen – vom Inhaber durchsuchbar, wenn er verstehen möchte, warum eine bestimmte Buchung zustande kam.

1. Zwei Wochen Shadow-Modus vor dem Go-live. Der Agent nahm jeden Anruf parallel zum Empfangsmitarbeiter entgegen und generierte eine Antwort – aber der Mitarbeiter sprach. Wir verglichen, was der Agent gesagt hätte, mit dem, was der Mitarbeiter sagte, anhand von über 400 echten Anrufen und behobenen jeden Sonderfall, bevor ein Gast die Stimme des Agenten hörte.

2. Zweisprachige TTS ohne Stimmwechsel. 35 % der Anrufenden wechseln mitten im Satz zwischen Englisch und Spanisch. Die meisten TTS-Engines reagieren auf den Sprachwechsel mit einem vollständigen Stimmwechsel – das wirkt störend und signalisiert der anrufenden Person sofort, dass sie mit einem Bot spricht. Cartesia Sonic behält dieselbe Stimmenidentität über beide Sprachen hinweg.

3. Atomares Buchen mit optimistischer Bestätigung. Der Agent sagt „Ich prüfe das kurz für Sie" und hält den Platz über Resys Hold-Endpoint, bevor er bestätigt. Schlägt der API-Aufruf mitten im Satz fehl, sagt der Agent „Moment, ich prüfe noch einmal kurz" und wiederholt den Vorgang. Die anrufende Person hört nie „Es ist ein Fehler aufgetreten."

4. Kosten pro Anruf als erstklassige Nebenbedingung. Wir haben ab Tag eins ein Kosten-Dashboard betrieben und die Kosten jeder Absicht beobachtet. Als GPT-4o-mini bei einer Tool-Call-intensiven Absicht nach oben driftete, bemerkten wir es innerhalb von Stunden – nicht Wochen. Ohne Kosten-Tracking pro Anruf wird ein Voice Agent still zu einem Posten, der den ROI-Business-Case zunichte macht.