KI-Sichtbarkeit des Restaurants prüfen: So misst du nachvollziehbar

Was die Selbstprobe zeigt und was nicht

Eine eigene Frage ist ein guter Anfang. Für einen Vergleich über Monate reicht sie aus drei Gründen nicht. Erstens die Formulierung: "Ist das Restaurant Sonnenhof in Kassel gut?" enthält die Antwort schon. Wer den Namen nennt, misst nicht Sichtbarkeit, sondern Höflichkeit. Zweitens die Streuung: dieselbe Frage liefert an zwei Tagen unterschiedliche Namen. Drittens der Kontext: ein angemeldetes Konto mit Verlauf und Standort bekommt andere Antworten als ein neutraler Zugriff.

Aufbau einer wiederholbaren Stichprobe

Neutrale Fragen

Die Frage darf weder den Namen noch die Domain des Betriebs enthalten. Sie beschreibt einen Anlass und einen Ort: Abendessen zu zweit, acht Personen, Mittagstisch, Geschäftsessen, Familie mit Kindern. Zwölf solche Fragen decken mehrere typische Anlässe ab. Eine repräsentative Stichprobe aller Gästefragen sind sie nicht, dafür bleiben sie von Monat zu Monat vergleichbar.

Festes Panel

Die Fragen müssen über Monate gleich bleiben, sonst vergleicht man zwei verschiedene Dinge. Ändert sich das Panel, ändert sich die Version, und ältere Läufe werden nicht mehr direkt gegengerechnet.

Ein benanntes System

Websuche über eine API ist nicht dasselbe wie die Chat-Anwendung auf dem Telefon einer bestimmten Person. Ein nachvollziehbares Ergebnis benennt deshalb Anbieter, Modell und Datum.

Zuordnung mit Sorgfalt

"Zum Hirschen" in Freiburg ist nicht "Gasthaus Hirsch" in Freiburg. Reine Zeichenkettensuche erzeugt hier Fehltreffer. Ein unklarer Fall wird zurückgehalten und nicht als Nennung gezählt.

Welche Zahl zulässig ist

Zulässig ist eine Nennungsquote: in wie vielen der gültigen Antworten kam der Betrieb vor. Also etwa "6 von 12 gültigen Antworten". Prozentangaben brauchen ein Etikett, das sagt, worauf sie sich beziehen: beobachtete Sichtbarkeit in dieser Stichprobe.

Nicht zulässig sind ein Punktwert ohne Bezug, ein Rang gegen "alle Restaurants der Stadt" und eine Prognose, wie sich die Quote nach einer Änderung entwickelt.

Fehlversuche gehören ausgewiesen

Wenn drei von zwölf Abfragen an einem Zeitfehler scheitern, ist das Ergebnis nicht "3 mal nicht genannt". Es ist eine Stichprobe mit neun gültigen Antworten. Wer Fehler als Nullwerte verbucht, erzeugt systematisch zu schlechte Ergebnisse. Sinnvoll ist eine Untergrenze: unter etwa 80 Prozent gültiger Antworten wird kein Ergebniswert ausgegeben, sondern ein Teilergebnis mit Fehlerhinweis.

Checkliste für eine eigene Messung

1. Zwölf Fragen ohne Namen und ohne Domain formulieren, nach Anlass gegliedert.
2. Fragen unverändert speichern, mit Versionsnummer.
3. Anbieter, Modell und Datum protokollieren.
4. Rohantworten speichern, nicht nur eine Bewertung.
5. Nennungen von Hand gegenprüfen, mit Zitat aus der Antwort.
6. Fehlversuche getrennt zählen.
7. Ergebnis als Quote über gültige Antworten notieren.
8. Nach Änderungen im Folgemonat erneut messen, mit demselben Panel.

Ein konkretes Fragenpanel bauen

Ein kleines Panel soll unterschiedliche reale Anlässe abdecken, nicht zwölf Varianten derselben Frage. Für einen fiktiven italienischen Betrieb in Hamburg könnten Gruppen so aussehen:

Zu jeder Gruppe gehören mehrere Formulierungen. Danach wird das Panel eingefroren. Änderungen sind erlaubt, beginnen aber eine neue Panel-Version und damit eine neue Vergleichsreihe.

Pro Lauf sauber protokollieren

Lege für jede Antwort mindestens diese Felder ab: laufende Fragenummer, unveränderter Fragetext, Zeitpunkt, Anbieter, Modellbezeichnung, gültig oder fehlgeschlagen, vollständige Antwort, Quellenlinks, erkannte Namen und ein wörtliches Belegzitat für die eigene Nennung. Das Zitat muss den Namen tatsächlich enthalten. Eine bloße Quelle zur eigenen Website reicht nicht als Nennung.

Ein Ergebnis könnte lauten: „Der Betrieb wurde in 3 von 12 gültigen Antworten genannt.“ Falls nur neun Antworten gültig waren, lautet der Nenner neun. Unter einer vorher festgelegten Mindestabdeckung, etwa 80 Prozent des Panels, sollte keine Quote erscheinen. Das ist keine statistische Repräsentativität, sondern eine Qualitätsregel für diese Messreihe.

Beispiel für ein Monatsprotokoll

Panel Version 1.2, zwölf neutrale Fragen, OpenAI API mit Websuche, 24. September 2026. Elf Antworten gültig, eine wegen Zeitüberschreitung nicht auswertbar. Der Betrieb wurde in drei der elf gültigen Antworten wörtlich genannt. Gegenüber dem Vormonat kein Vergleich, weil dies der erste Lauf mit Version 1.2 ist.

Diese Formulierung trennt Beobachtung, Ausfall und Vergleichbarkeit. Sie macht aus einem technischen Lauf keine Aussage über sämtliche Gäste oder alle KI-Systeme.

Typische Messfehler

• Du fragst aus einem privaten Chatverlauf und wiederholst das Ergebnis nicht neutral.
• Du änderst zwischen zwei Monaten Ort, Anlass oder Wortlaut.
• Du zählst eine verlinkte Website als Namensnennung, obwohl der Antworttext den Betrieb nicht nennt.
• Du wertest Zeitfehler als „nicht genannt“.
• Du addierst Ergebnisse verschiedener Modelle zu einer scheinbar größeren Stichprobe.
• Du nennst den höchsten beobachteten Mitbewerber „Platz 1 der Stadt“.

Was die Messung leisten kann

Sie macht einen begrenzten, wiederholbaren Ausschnitt sichtbar. Mit den Rohantworten erkennst du, welche Betriebe auftauchten und auf welche Quellen das System verwies. Sie erklärt nicht sicher, warum ein Name gewählt wurde. Korrelationen, etwa nach einer Websiteänderung, sind noch kein Beweis für eine algorithmische Ursache.