京东科技集团自主研发的智能人机交互平台——言犀，是业内大规模应用的智能人机交互系统之一，是具备高情商、个性化、全链路的端到端智能客服解决方案，帮助商家降低服务成本65%，提高接待效率45%。“言犀”并不服务于京东自身，目前已经在零售、政务、金融、教育、医疗等多个场景落地，助力实体经济数智化转型。

　　近日，京东集团副总裁、京东科技集团智能客服产品部负责人、京东人工智能研究院常务副院长、IEEE/CAAI Fellow何晓冬在中国科学技术协会的学术会刊《科技导报》上，发表了题为《智能交互时代服务业数字化的实践与思考》的署名文章，从技术发展和产业应用的角度，为大家揭秘京东智能人机交互平台“言犀”背后的技术能力。

　　以下为何晓冬署名文章全文：

　　近年来，中国的数字产业发展非常迅猛，在互联网以及相关服务产业的创新非常活跃，增速非常快。随着数字经济的发展，数据本身也成为数字经济重要的生产要素。

　　数字经济包含数字产业化和产业数字化，数字产业化主要指信息产业本身；产业数字化是指数字技术对传统产业的改造升级。根据中国信息通信研究院发布的《中国数字经济发展白皮书（2020）》，2019年，中国产业数字化的增加值约为28.8万亿元，占国内生产总值（GDP）比重约29%，其中，中国农业、工业、服务业数字经济占行业增加值比重，分别为8.2%、19.5%、37.8%，服务业数字化占比呈现加速增长态势。可见服务业方面数字化有大量的产业机会和增长空间。

　　服务业涵盖很多行业，有零售、金融、教育等。服务业的服务对象是人，更多地涉及人机交互等基础技术，如何让计算机理解人，人机协同提高服务效率。服务业需要通过智能化的技术使得行业效率提升，成本下降，进一步提升用户体验，智能人机对话是一个非常重要的技术。

　　智能人机交互技术产业价值非常大，2017年国务院印发的《新一代人工智能发展规划》中指出了新一代人工智能关键性技术，2018年美国《网络与信息技术研究与发展计划》（NITRD）认为人机交互是一个核心技术，这两年投入超过18亿美元开展研究。而据市场研究公司Gartner预测，2022年人机交互技术支撑的产业规模达到万亿美元级别。

　　人机交互技术阐述的是如何让人和计算机之间交流互动的技术，主要是提升人机协同效率。回顾人机交互70年的发展历史，从最开始的打孔纸带到命令行式终端，到基于鼠标、键盘等的图形交互，再到像触控屏这样的自然交互，这种交互过程便是人机协同效率提升的过程。

　　智能交互时代的特点是通过人工智能等技术让机器能够具有场景化知识，能够通过多模态、多轮次对话方式与人进行沟通交流，从而更好地理解人的意图，完成高价值的任务。

　　过去70年的每个发展阶段，同时也带来了万亿美元级别新的提升，从最早的代表性企业IBM到苹果、微软，再到苹果、谷歌、华为、三星等智能手机产业。而在智能人机交互时代，可以预见新的万亿级产业将会发生。

　　智能交互阶段存在大量的机遇和挑战。技术上，我们希望能够打造智能服务机器人更好地服务人类。一方面希望机器人能够足够聪明，能够理解人们的意图和具有必备的知识，真正为人们完成有价值的任务；另一方面希望机器人能理解人们的情感，能做到有同理心的交流与服务。从产业角度来看，在智能交互时代将会有大量的智能机器为人们提供服务，由智能机器提供的服务将会无所不在。同时这也对技术提出了挑战，夯实基础技术层，包括语音语义分析、情感智能分析、大规模语言模型、知识图谱构建和推理决策智能、跨语言、跨视觉的多模态表征学习等；在这些基础研究之上，还需要能够建立一系列核心能力，包括语言理解、语言内容生成、多轮人机交互与对话、多模态信息处理等；在核心能力层上才能建立一系列用户能感知到的应用，例如像智能客服、智能营销导购、智能交互媒体、个性化智能助手以及各种各样的智能硬件等交互式智能平台。

　　关键技术的突破奠定了在智能交互方面打造新的应用的基础，比如通过在复杂场景下的多轮对话与决策技术进行深度语义理解和情感识别从而精确抓住人的意图，通过对数据进行智能分析以获取结构化知识从而能够运用知识进行推理与辅助决策，通过创作智能让机器能生成更加丰富的吸引人的对话内容从而能与用户进行多模态的优体验的交流互动，等等。基于这些技术，京东打造了一系列全新的人机交互与协作工具系统，从而支持全渠道、全流程、全场景客户服务智能化。以京东的智能客服系统为例，其整个系统是基于多样的先进技术通过模块化集成的服务系统。从最开始多渠道咨询接入，到后台人机协同、人机合作的服务情景，完成服务闭环，包括机器接待、机器辅助人工、人工和机器的无缝切换，以及与业务流程的自动化对接。另外，系统还提供实时服务质量监测和服务数据分析，以及员工与业务的智能化管理，从而整体上提升了服务的效率和体验。

　　智能客户服务的场景非常多，例如智能交互式营销导购。京东研发了智能导购系统京小智，为京东生态平台上超过13万商家提供智能营销导购的能力。相比简单的咨询应答，营销导购任务有很多新的挑战，例如在回答咨询的时候还要解释商品为什么值得买或有什么优点。以前只有经验丰富的金牌销售员才能做好这个工作，而现在机器也可以做到，甚至在高效的掌握大量商品知识和通过大数据精准理解用户画像方面还具有优势。目前在京东平台上发现好货，社群内购、专卖店咨询都提供了数字化智能化的营销服务，让服务体验提升。

　　提到人机交互，人们往往只想到界面，但要真正提供闭环体验需要后台有一个全流程自动化。例如不仅是识别用户的语音，还需要做大量的像自动查询、自动操作、自动工单执行，将人工智能和流程自动化结合在一起才能达到服务效率提升。这个场景对技术提出了新挑战，数字化机器人能够在自动服务过程中自我学习进化。针对上面提到的智能交互式营销导购场景，京东启动了一个Alpha?Sales项目，通过自学习和无监督学习，通过用户的反馈来学习和进化，比如在导购用户的时候，学会什么时候抓住用户的痛点和兴趣点，把符合用户需求的商品推荐给用户，进一步提升导购的效率和体验。

　　智能政务服务也是一个重要的场景。结合京东在智能交互RPA和数据智能领域的积累，京东打造“政务咨询大脑”，通过“一平台+两体系+N 应用”系统化部署，构建城市咨询智能中心。一个平台指的是咨询大脑平台，涵盖了京东科技在数据（包括政务与公共数据、市场数据）、算力（包括云计算能力和物理机）、算法（语音、语义、视觉等前沿人工智能算法）的深厚积累。两大体系涵盖数据和智能，一个是数据管理分析，包括隐私管理、数据敏感性管理、数据本身价值挖掘；另外一个是智能咨询与决策，怎么样通过对数据挖掘出知识，能更好地为用户提供咨询与决策，同时通过人工智能辅助决策技术，可以进行热点事件分析、高频事件、考核评价分析等方面为管理者提供更多的决策辅助和决策支撑；下面又设置了多个细分模块。N 应用范围包括民生、政务服务、精细化管理、公共安全等多个领域。因为技术经过京东场景下的千锤百炼，具有门槛低、易部署的特性，可在多场景下快速落地、得到广泛应用。

　　列举几个具体的智能人机交互技术实际产业落地的例子。京东智能客服是业界实际部署的最大规模的智能人机交互系统之一，为全京东4亿用户提供大量智能客服能力。数据显示其对风险舆情监控效率提升了65%，准确率达95%。提供一系列商家服务机器人，以降低商家服务成本65%，提高接待效率45%。2020年“618购物节”期间服务7800万人次咨询，使原来基于人海战术的客服变成智能接待的方式，客服中心效率提升了90%。进一步看公共服务行业，在抗击新冠肺炎疫情中，京东人工智能部门迅速开发智能疫情外呼系统，帮助基层社区、企业、医疗机构快速完成用于外呼疫情排查、通知、信息采集、病例回访等，比人工电话效率提高数百倍，助力政府与企业把控疫情、战胜疫情。

　　同时，智能人机交互技术的突破往往也会打开新的数字化服务场景。例如最新的数字人技术，通过合成语音、情绪、视觉形象和三维的图形建模，对语音个性化进行定制，形象风格进行定制、通过语音和情绪驱动面部动作和表情，将语音交互变成更好的虚拟形象交互，从而打造成虚拟主持人。

　　另外一个例子是直播带货，这是2020年以来快速崛起的新型零售业态。直播带货是劳动密集型产业，需要人工直播，这样导致只能对小量商品进行直播和推介。但市场上有数以亿计最小存货单位（SKU），在传统的以人为劳动力的直播产业是不可能全覆盖的，而智能交互技术能助力直播带货产业规模化。目前京东已经通过商品知识图谱自动挖掘卖点，自动生成推广文案、背景音乐、虚拟形象发布出去，配上咨询导购客服，使得整套流程自动化。这样可以迅速把直播形态推广到亿级的播放和商品销售上去，使这个新营销业态变成真正可规模化。

　　在服务业领域中有大量的数智化智能化的空间和增长机会，智能人机交互技术也将带来更多更好的机会，在下一个十年，希望以技术为本，与生态合作伙伴一起做好服务业的使能者，把服务化数字化推向新的台阶。