Skip to main content

KI-Prompts mit einem A/B-Test vergleichen

Eine gute Antwort genügt selten als Qualitätsnachweis. Wählen Sie typische und schwierige Eingaben aus und legen Sie vor dem Test fest, woran Sie ein brauchbares Ergebnis erkennen.

  1. Testen Sie einen üblichen Fall, einen sehr kurzen Fall und einen mit fehlenden Angaben. Prüfen Sie Fakten, Ausgabeformat und den Umgang mit Unsicherheit.
  2. Beim Vergleich zweier Prompts bleiben Modell und Eingabe gleich. Beim Modellvergleich bleiben Prompt und Eingabe unverändert.
  3. Mit Pro können Sie Antworten direkt im Arbeitsbereich nebeneinander prüfen. Behalten Sie die Fassung, die über mehrere Fälle hinweg zuverlässig bleibt.

A/B-Test für Support-Zusammenfassungen in der Praxis

Wir haben beide Prompts mit denselben drei fiktiven Supportanfragen und dem in Prompt Builder konfigurierten Gemini-Modell getestet. Zur Wiederholung fügen Sie hinter jedem Prompt eine Leerzeile und dieselbe Anfrage ein. Verwenden Sie dasselbe Modell und dieselben Einstellungen. Prompts, Anfragen und Ausgaben stehen im englischen Original.

gemini-3.1-flash-lite-previewTemperatur 1, hohe Denktiefe, maximal 1.024 Ausgabetokens

Prompt A

Summarize this customer support ticket in exactly two plain-text lines. Use the labels Issue and Order number.

Prompt B

Summarize this customer support ticket in exactly two plain-text lines. Use the labels Issue and Order number. Write Unknown for the order number when the customer did not provide one.

Vergeben Sie pro Anfrage einen Punkt, wenn der Wert nach „Order number: “ in der zweiten Zeile genau dem erwarteten Wert entspricht. Satzzeichen zählen mit.

Exakte Treffer im Bestellnummernfeld
TestfallErwarteter WertAB
Bestellnummer vorhandenPB-2481TrefferFehler
Bestellnummer fehltUnknownFehlerTreffer
Nur Support-TicketnummerUnknownFehlerTreffer
Treffer gesamt1/32/3

B hat in beiden Fällen ohne Bestellnummer den geforderten Wert Unknown ausgegeben. Bei der vorhandenen Bestellnummer hat B einen Punkt angehängt. Deshalb war der Wert kein exakter Treffer. Wir haben beide Varianten je einmal pro Anfrage ausgeführt. Wiederholen Sie den Test mit eigenen Eingaben, bevor Sie einen Prompt übernehmen.

Bestellnummer vorhanden

Supportanfrage

My blue travel mug arrived cracked. My order number is PB-2481.

Tatsächliche Ausgabe von A

Issue: Blue travel mug arrived cracked
Order number: PB-2481

Tatsächliche Ausgabe von B

Issue: Customer received a cracked blue travel mug.
Order number: PB-2481.
Bestellnummer fehlt

Supportanfrage

My blue travel mug arrived cracked. Can you send a replacement?

Tatsächliche Ausgabe von A

Issue: Customer received a cracked blue travel mug and requested a replacement.
Order number: Not provided.

Tatsächliche Ausgabe von B

Issue: The customer received a cracked blue travel mug and is requesting a replacement.
Order number: Unknown
Nur Support-Ticketnummer

Supportanfrage

My blue travel mug arrived cracked. Please see support ticket 5176 for the photo. Can you send a replacement?

Tatsächliche Ausgabe von A

Issue: Customer received a cracked blue travel mug and is requesting a replacement.
Order number: Not provided (referenced support ticket 5176).

Tatsächliche Ausgabe von B

Issue: Customer received a damaged blue travel mug and is requesting a replacement.
Order number: Unknown

Kann ich Prompts auch ohne integrierten KI-Test prüfen?

Ja. Kopieren Sie beide Fassungen in das Modell Ihrer Wahl und verwenden Sie dieselben Prüfkriterien. Tests und Vergleiche direkt im Arbeitsbereich gehören zu Pro.