Skip to main content

测试 AI 提示词并对比输出结果

一次回答正确,并不代表换一组输入仍然可靠。先准备几个真实场景,并明确什么样的结果算通过,再对提示词进行修改。

  1. 选取一个常见案例、一个简短案例和一个资料不全的案例。检查答案是否符合事实、遵守格式,并明确指出缺失的信息。
  2. 比较两个提示词版本时保持输入和模型相同。比较模型时保持提示词和输入相同,便于判断结果差异来自哪里。
  3. 使用 Pro 的测试与比较功能并排查看结果。保留在多个案例中表现稳定的一版,并复核仍有疑问的输出。

客服工单摘要提示词的 A/B 实测

我们使用 Prompt Builder 配置的 Gemini 模型,用三组相同的虚构客服工单分别测试了 A 版和 B 版。复测时,在每版提示词后空一行并粘贴同一条工单,保持模型和设置一致。下方保留了提示词、工单和输出的英文原文。

gemini-3.1-flash-lite-preview温度为 1,采用高思考级别,输出上限为 1,024 个词元

提示词 A

Summarize this customer support ticket in exactly two plain-text lines. Use the labels Issue and Order number.

提示词 B

Summarize this customer support ticket in exactly two plain-text lines. Use the labels Issue and Order number. Write Unknown for the order number when the customer did not provide one.

第二行的“Order number: ”后面的值必须与预期值完全一致,包括标点符号。每组工单符合要求就得 1 分。

订单号字段完全匹配评分
测试场景预期值AB
已提供订单号PB-2481匹配不匹配
缺少订单号Unknown不匹配匹配
仅有客服工单号Unknown不匹配匹配
匹配总数1/32/3

两个缺少订单号的工单中,B 版都按要求返回了 Unknown。对于提供了订单号的工单,B 版在号码末尾多加了句点,因此未通过完全匹配校验。每组工单对每版提示词只执行了一次,采用前请用自己的输入复测。

已提供订单号

工单原文

My blue travel mug arrived cracked. My order number is PB-2481.

A 版实际输出

Issue: Blue travel mug arrived cracked
Order number: PB-2481

B 版实际输出

Issue: Customer received a cracked blue travel mug.
Order number: PB-2481.
缺少订单号

工单原文

My blue travel mug arrived cracked. Can you send a replacement?

A 版实际输出

Issue: Customer received a cracked blue travel mug and requested a replacement.
Order number: Not provided.

B 版实际输出

Issue: The customer received a cracked blue travel mug and is requesting a replacement.
Order number: Unknown
仅有客服工单号

工单原文

My blue travel mug arrived cracked. Please see support ticket 5176 for the photo. Can you send a replacement?

A 版实际输出

Issue: Customer received a cracked blue travel mug and is requesting a replacement.
Order number: Not provided (referenced support ticket 5176).

B 版实际输出

Issue: Customer received a damaged blue travel mug and is requesting a replacement.
Order number: Unknown

不用内置功能也能测试吗?

可以。把两版提示词分别复制到选定的模型,用相同的输入和标准进行比较。工作区内置的测试及结果对比是 Pro 功能。