三个月前，我们开始给一个日咨询量 8000+ 的客服系统接入 AI。这篇文章复盘整个过程，包括失败的方案和最终的架构，希望能给做类似事情的人省点时间。
第一次尝试：直接问答机器人（失败）
最初的想法很朴素：把知识库灌进模型，让机器人直接回答。上线一周，问题解决率只有 41%，而且错得很有「自信」——用户被一本正经的错误答案惹恼的次数，比得到「我不知道」的次数多得多。
转折：让 AI 做助理，不做客服
调整后的架构是：AI 负责检索、草拟和分类，人类客服做最终确认。AI 把候选答案和依据推给客服，客服一键采纳或修改。同一个模型、同一份知识库，问题解决率升到 76%，平均处理时长下降了 40%。
AI 落地的关键，往往不是模型多强，而是把它放在流程里的哪个位置。
三条经验
- 先做分类和路由，再做生成——分类是 90% 准确率的活，生成不是。
- 永远给 AI 的输出留一个「人工确认」的出口，尤其涉及退款、账号这类敏感操作。
- 上线第一天就建评估集，每周跑一次回归。没有度量的优化都是玄学。
目前我们在尝试把高频 Top 20 问题的确认流程自动化，目标是把人工确认的量再降一半。有进展再来更新。