- 选取一个常见案例、一个简短案例和一个资料不全的案例。检查答案是否符合事实、遵守格式,并明确指出缺失的信息。
- 比较两个提示词版本时保持输入和模型相同。比较模型时保持提示词和输入相同,便于判断结果差异来自哪里。
- 使用 Pro 的测试与比较功能并排查看结果。保留在多个案例中表现稳定的一版,并复核仍有疑问的输出。
客服工单摘要提示词的 A/B 实测
我们使用 Prompt Builder 配置的 Gemini 模型,用三组相同的虚构客服工单分别测试了 A 版和 B 版。复测时,在每版提示词后空一行并粘贴同一条工单,保持模型和设置一致。下方保留了提示词、工单和输出的英文原文。
gemini-3.1-flash-lite-preview温度为 1,采用高思考级别,输出上限为 1,024 个词元
提示词 A
Summarize this customer support ticket in exactly two plain-text lines. Use the labels Issue and Order number.提示词 B
Summarize this customer support ticket in exactly two plain-text lines. Use the labels Issue and Order number. Write Unknown for the order number when the customer did not provide one.第二行的“Order number: ”后面的值必须与预期值完全一致,包括标点符号。每组工单符合要求就得 1 分。
| 测试场景 | 预期值 | A | B |
|---|---|---|---|
| 已提供订单号 | PB-2481 | 匹配 | 不匹配 |
| 缺少订单号 | Unknown | 不匹配 | 匹配 |
| 仅有客服工单号 | Unknown | 不匹配 | 匹配 |
| 匹配总数 | 1/3 | 2/3 | |
两个缺少订单号的工单中,B 版都按要求返回了 Unknown。对于提供了订单号的工单,B 版在号码末尾多加了句点,因此未通过完全匹配校验。每组工单对每版提示词只执行了一次,采用前请用自己的输入复测。
已提供订单号
工单原文
My blue travel mug arrived cracked. My order number is PB-2481.A 版实际输出
Issue: Blue travel mug arrived cracked
Order number: PB-2481B 版实际输出
Issue: Customer received a cracked blue travel mug.
Order number: PB-2481.缺少订单号
工单原文
My blue travel mug arrived cracked. Can you send a replacement?A 版实际输出
Issue: Customer received a cracked blue travel mug and requested a replacement.
Order number: Not provided.B 版实际输出
Issue: The customer received a cracked blue travel mug and is requesting a replacement.
Order number: Unknown仅有客服工单号
工单原文
My blue travel mug arrived cracked. Please see support ticket 5176 for the photo. Can you send a replacement?A 版实际输出
Issue: Customer received a cracked blue travel mug and is requesting a replacement.
Order number: Not provided (referenced support ticket 5176).B 版实际输出
Issue: Customer received a damaged blue travel mug and is requesting a replacement.
Order number: Unknown不用内置功能也能测试吗?
可以。把两版提示词分别复制到选定的模型,用相同的输入和标准进行比较。工作区内置的测试及结果对比是 Pro 功能。