笔记 ·

怎样让 AI 守住硬条件:数字交给代码判断

简短回答让模型去读、去整理,让代码去把关。把客户说的话整理成结构化的条件,用普通代码逐条核对每一份资料,模型只比较通过核对的人,允许它少给结果,信息不全时干脆不答。

我们给一家雇佣中介做搜索:家长描述想要什么样的家庭帮佣,同事要从几百份在架资料里拿出一份名单。有一天下午,一位家长分几条消息说明,要 33 岁以下、身高 150 公分以上、体重 55 公斤以下的。搜索推荐了一位 44 岁的,和一位 39 岁的。

系统没有出任何错误,它完全照着设计在做。问题就出在这里。

错在哪里

  • 一份过时的摘要。搜索用的是 3 分钟前生成的对话摘要,家长那 9 条写着具体要求的消息,根本不在里面。
  • 一份缓存的结果。家长回了一句“I need younger”,再搜一次,拿到的还是缓存里的同一个答案。
  • 条件只是“建议”。年龄只是排序分数里一个小小的扣分项,不是硬条件。最后由模型来挑,而且要求它“正好挑三个”。

还有几个更隐蔽的 bug。“Filipino or Myanmar”一直把缅甸人排除在外,因为“Filipino or”里正好藏着“no ”。还有一次,“below 55kg, above 150cm”被读成了 15 到 55 岁。

后来的做法

  1. 每次都读全部。每次搜索都重新读完当下的整段对话。不用摘要,不缓存结果。
  2. 整理成结构。一次模型调用,把对话整理成一条条条件,每条标明是“必须”还是“最好”,边界按客户的原话来:“33 岁以下”不含 33,“33 岁及以下”含 33。
  3. 由代码把关。经过单元测试的普通代码,拿每一份资料去核对每一个“必须”。资料上写明“不愿意照顾狗”的,不会推荐给养狗的家庭。资料没写的,标成“面试时确认”,而不是默默放过。
  4. 模型只比较通过的人。它读真实的工作经历,写推荐说明。我们要它“最多三位”,可以更少,也可以一个都没有。
  5. 信息不全,就不答。读不全整段对话,或者整理条件这一步失败了,就不搜,并告诉同事原因。
  6. 用真实案例来测。任何改动上线之前,都在测试副本上把 60 多个真实的历史需求重跑一遍,这一次也在里面。

结果是:一次搜索约 5 秒,不到 1 美分;家长说“33 岁以下”,就不会再看到超过 33 岁的人。

最微妙的地方:代码什么时候可以推翻模型

有了代码去核对模型的结果,人很容易想再进一步,让代码去“纠正”模型。我们这样做过,结果适得其反:客户先说“30 岁以下”,后来又说“年龄只是个参考,大一点也可以”,我们的“纠正”却把这个参考又改回了硬条件。现在我们守着一条规矩:只有在之后没有任何一句话可能改变它的时候,代码才能推翻模型的理解。拿不准,就相信模型读到的,并把它理解成什么样子摆给同事看。

任何要守规矩的 AI,都可以对照这份清单

  • 哪些判断是数字,或者是“是 / 否”?这些交给代码。
  • 有没有要求模型返回固定数量的结果?改成“最多”。
  • 客户说的话和最后的答案之间,有没有任何缓存?去掉它,或者证明它不会过时。
  • 信息不全时会怎样?正确的做法通常是“停下来,说清楚”。
  • 每一次出过的错,是不是都已经变成了测试用例?

几个快速问答

怎样让 AI 不忽略客户的要求?

不要指望模型去执行这些要求。让模型把要求整理成结构化的条件,用普通代码逐条核对每一份资料,模型只在通过核对的资料里做选择。

AI 搜索应该固定返回几个结果吗?

不应该。要求“正好三个”,模型就会拿不合适的人来凑数。改成“最多三个”,并允许一个都没有。

为什么 AI 系统最好不要缓存对话摘要?

因为客户可能在摘要做好之后,又说了重要的话。我们最严重的一次搜索错误,就来自一份只“旧了 3 分钟”的摘要。

聊一聊

说说你们公司吧。

做什么的、客户一般怎么找到你们、哪件事最占时间。写几行就够,每封邮件都是人在看。

发邮件 dylan@silinkai.com
地址
170 Upper Bukit Timah Road, #B1-23, Bukit Timah Shopping Centre, Singapore 588179