大模型专栏是网易云商全新推出的内容专栏,聚焦关注大模型在企业服务场景和营销场景落地应用过程中的相关话题。在这里:

    •    我们分享前沿技术趋势,也提供适配的行业和场景解决方案。

    •    我们拆解各行各业最佳实践,也同步关注客服人和营销人的职业成长。

    •    我们分享实施过程中获取的经验,也给大家提供及时的避坑指南。

这是大模型专栏的第【19】篇

对话框里,客户的消息在闪烁:“在线等,很急!”

B2B售后客服小七的心头一紧,这个问题,又“超纲”了。她的第一反应是迅速切换到内部沟通工具,向技术同学求助。接下来,是夹杂着焦虑的等待。

这个场景,是过去网易云商客服和技术支持团队的日常缩影。

技术同学就像稀有的“救火队员”,总是在扑灭一个又一个更紧急的火情,每个人都在等待他们的“秒回”,大量的精力被回答问题拉走。这不仅消耗着宝贵的研发资源,也不利于团队知识的沉淀。

是时候改变了。与其被动救火,不如主动创造一个“永不离线的技术专家”。

今年6月,技术团队为“解救自己和团队”打造的问答Agent——懂鱼帝应运而生,它上岗仅4个多月,就交出了一份惊艳的答卷:

    •    沉淀知识点:65958个

    •    累计咨询量:20469条

    •    使用部门扩展至:8个

    •    问题解决率达到:70%

本来应该是慌慌张张、连滚带爬,现在却是从从容容、游刃有余。

它的诞生背后经历了怎样的思考?它如何一步步解决团队的“头疼事”,并赢得大家的一致好评?在没有任何KPI的情况下,它又是如何做到“口口相传”的?带着这些问题,我们与懂鱼帝之父——网易云商技术部门的华佗老师,聊了聊这个AI新同事的诞生故事。

Q1:当时是在什么样的契机下想做这样一个产品?

A1:最开始萌生这个想法是在2023年初,那时候ChatGPT爆火,我们想能不能借助AI解决我们团队自己遇到的一些问题,当时做了一个问答类的AI工具,主要是希望来回答客服、技术支持团队问我们的基础类问题,但效果并不是太好。

这个是懂鱼帝的雏形,一开始叫“七鱼问题排查机器人”。

还有一个很大的原因是日常咨询量太大了,技术团队小伙伴每天都在回答客服和技术支持提出的各种问题,做研发需求的过程不停被打断。这里面,有很多问题还是被重复问到的,我们统计了一下,有一个问题在一个月内被重复问了七次,同一个人隔段时间也会再来问之前问过的问题。这让我们很头疼。

今年5月,技术团队收到的咨询和工单达到了一个新的峰值,推动我们重新把这个事情做起来。

Q2:听下来,这个产品主要的用户群体是客服团队和技术支持团队是吗?

A2:是的,我们网易云商的客户服务流程是客户遇到问题咨询客服——客服无法解决的咨询技术支持团队——技术支持团队无法解决的再流到我们技术团队。

这个产品一开始主要就是给客服和技术支持团队用的,但从目前的数据来看,已经远远不止了,客户成功、售前与解决方案、实施交付、销售、营销增长等团队都在用,覆盖了8个部门。

Q3:前面有提到,23年的时候其实产品的效果不是太好,你们分析下来主要的原因是什么?

A3:那时候效果不好主要有两方面的原因,核心原因是“知识库是死的”,我们当时导入了产品介绍文档、开发文档进去,但这些文档覆盖的知识面是有限的,并且做不到实时更新。大家过来问一个问题,有时候是得不到答案,有时候得到的答案可能是过时的,解决不了问题,大家使用的意愿自然也不高了。

还有一个原因是那时候底层的大模型、RAG、Agent等技术也相对还没有那么成熟,在数据的处理和分析上有一定局限性。

Q4:针对之前遇到的问题,你们做了哪些优化迭代?

A4:针对之前知识库覆盖面窄、知识库维护成本高这两个核心问题,我们重点做了一件事:把原先死的、静态的知识库变成活的、动态的知识库。

今年5月,我们先把历史工单内容喂给知识库,并进行每日自动更新,意味着今天收到的工单内容,第二天就可以用于回答访客的问题。

8月,我们和客服、技术支持团队一起就“售后问题解决效率和准确率提升专项”开了一次深度讨论会,大家一致认为历史的会话内容是一个知识藏宝山,会话本身就是一个FAQ,通过分析历史会话,就能萃取出无数个FAQ。会后,我们马上调取了过去两年的会话数据,再次扩充了知识库的范围。

在这个过程中,网易云商底层强大的大模型、RAG 和 Agent能力以及我们算法团队此前做的很多基建工作,提供了非常大的帮助。

通过调用大模型接口,可以轻松实现对会话记录进行分析,提取FAQ知识点,包括问题、相似问法、答案、问题产生时间等信息。

再借助网易云商的Agent能力,把提取出来的FAQ知识点批量导入到知识库中,作为Agent的知识来源,Agent会使用RAG技术来增强问答能力。

Q5:优化之后,效果怎么样?内部同学是如何评价的?

A5:我们的懂鱼帝是6月正式上线的,上线4个多月以来,一共沉淀了65958个知识点,咨询量总计20469条,问题解决率达到了70%。

咨询量一直在不断增长:7月:3235条,8月:4679,9月:4845条,10月:5054。

我们统计了下,人工答疑率下降了24%,尤其是关于一些基础性问题的咨询量,基本上消失了,技术团队腾出了大把时间去落地研发需求。

前几天还刷到了我们销售同学的一条朋友圈,她说“内部搞的懂鱼帝Agent太好用了,以往需要排队抓技术同学回复的问题,现在被秒回,爽哉爽哉。”

我觉得“回答得准”是大家喜欢用的根源,还有一个是用起来方便,我们公司内部使用的IM工具是网易popo,懂鱼帝集成到了网易popo中,只需打开popo,搜索懂鱼帝,就能直接发起对话,查询知识库中的内容。

Q6:懂鱼帝是一个新产品,在内部推广的时候,你们主要采取了那些方式?

A6:坦率的说,我们没有专门做一些推广动作,一开始主要是客服和技术支持团队使用,后面hr在大群里向大家做了推荐,更多的还是同事之间的口口相传,比如部门里的A同事用了,觉得回答得很准,就推荐给了部门的B、C、D。

这个过程中还有一个小插曲,原先我们这个产品的名字是叫“七鱼问题排查机器人”,后来发现好多人记不住,经常找错机器人,后面我们改叫“懂鱼帝”后,这个情况好转很多,给内部推广助力了一把。

Q7:如果用户提出一个问题,有多条知识同时命中,你们会如何选择回复内容?

A7:知识冲突的情况是客观存在的,我们的解决方案有两个,一个是综合考虑问题匹配度、知识点更新时间,筛选出最合适的答案。

此外我们还设置了用户反馈机制,在每个用户获取回答之后,我们都会让他们反馈“本次回答能否解决你的问题?”,针对不能解决的问题,用户会反馈至对应文档中,我们有专人定期去查看这些问题,复核修改对应的知识,这一步目前全部是人工来做的。

Q8:对于懂鱼帝,有什么下一步规划?重点目标是什么?

A8:一个工具如果不好用,就不会有人用,接下来的重点目标,是将懂鱼帝的问题解决率,从70%提升到80%,让懂鱼帝变得更好用。

在具体的规划上,我们会重点去分析那些没有解决的问题,原因是什么,有些时候并不是知识库中找不到答案,而是“问法不对”。接下来,我们会出一个提问指南,帮助大家更好地学会提问,同时,对于知识点的定期人工校验和人工增补,也是必须做的功课,这块暂时是AI无法替代的。

还有一个是更长远的规划,是源于我们的一个洞察,我们发现,对于一些复杂业务来说,和客户在线一句一句沟通解决效率很低,往往是通过电话,那这些留存在电话中的信息,如何萃取出来,纳入知识库,是一个很值得探索的事情。

懂鱼帝的故事,是典型的“Dogfooding实践”,我们用自己的产品,解决了自己最头疼的问题。在这个过程中,我们是开发者,也是最挑剔的用户。这让我们深刻地理解到:一个好的Agent,核心价值在于找到场景、解决问题。

懂鱼帝,是网易云商众多Agent落地实践中的一个缩影。

    •    我们为王府井集团打造AI推荐官,解决了他们“消费者在偌大的商场中找商品、找店铺、查信息”的烦恼。

    •    我们为北京一卡通打造了客服Agent,解决了他们“复杂咨询多、处理时间长”的烦恼。

    •    我们为I.T集团打造了售前咨询Agent,解决了他们“品牌多、产品多、活动多、售前咨询压力大”的烦恼。

    •    我们为头部母婴营养品牌打造了AI导购助手,解决了他们“导购上岗周期短,专业知识储备要求高”的烦恼。

我们坚信,最好的产品,源于对真实业务场景的反复打磨。

如果您所在的企业也被类似的烦恼所困扰,欢迎联系我们聊一聊,我们非常乐意和您分享这些经验。

请点击下方链接,访问网易云商官网咨询及体验。

http://163.lu/NKB9dO