实尔通人工智能助力人机交互技术突破，软件都将成为“傻瓜”软件

原标题：人工智能助力人机交互技术突破，所有软件都将成为“傻瓜”软件）

近日，实尔通公司推出机智交互技术产品，除了其解决软件操作使用问题的便捷性引起关注之外，另一个关注点是该成果是一个由西安电子科技大学与企业联合推出的产学研合作攻关团队成果。

基于实景语义理解的软件操作互动帮助系统能做什么？

当用户在使用软件中遇到问题时，可直接用自然语言描述问题。问题的提出可以是忽略操作过程等细节而进行简单的描述。软件互动帮助系统针对问题，能反馈出像人手势指示一样的直观简洁的帮助，以及用自然语言方式进行描述的提醒，也可以视频信息。整个互动辅助过程就像有一位软件操作人员指导在指导用户使用，软件操作即将迎来“傻瓜”时代。

如下例：

针对微软的word用户在使用中问:翻译怎么弄？

软件操做互动帮助系统适用面广泛，不仅是软件厂商推出的软件需要，硬件厂商推出的硬件中其硬件设置的软件同样也需要，如手机、无人机、银行自助柜机等电子设备。

人机交互的发展历程简介

人机交互技术经历了从纸带穿孔到个人电脑的命令行输入，且需用户记住这些命令才能用好。随后微软公司推出了Windows为代表的图形界面，从而实现了“所见即所得”的进步，减少了用户记忆的烦恼。它的推出及鼠标和触摸屏的发明，使信息产业得到空前的发展，但依然有“不见即不得”的烦恼，进而导致不知道有没有某功能、找不到功能按钮、用不好功能的问题。为解决这些问题2018年西安电子科技大学提出了实景互动帮助系统的专利，在此基础上通过产学研联合研发，与实尔通公司在2022年推出了实尔通机智交互系统，它可以根据用户的语音和文字自然语言对话，理解用户使用软件中的问题，给出解决用户问题直观的引导式的智能辅助指导，从而实现了用户使用软件从“所见即所得”到“想到即所得”的跨越。

机智交互技术原理

机智交互技术是继命令行和图形界面人机交互之后，易为普通百姓接受，也是自然的计算机交互方式。利用这种技术，用户通过自然的交互方式，在图形界面基础上，用自然语言提出使用中的问题，经机智交互系统理解用户意图并结合用户使用场景，反馈给用户直观的使用指导。这种互动大限度的减少用户的认知负担，极大方便了用户，是极富吸引力的全新交互方式。

当用户在操作软件中提出问题时，机智交互系统通过实景获取模块将用户问题（自然语言提出）和软件操作的实际过程（实景）有机结合，继而通过基于深度学习的实景自然语言理解模块理解用户真实意图，并由实景互动操作模块将系统的解决方案传输给用户，后通过语言提示、视频和图形指示等形式反馈给用户，方便用户的直观理解与操作使用。

机智交互的本质是基于实景语义理解的互动帮助系统，在深度学习领域属于多模态深度学习，而视觉与自然语言处理的多模态深度学习是其中的核心，其核心问题是利用感知信息提升对话理解的水平。多模态自然语言对话，是针对使用问题的提问或对话，同样一句话在不同场景下含义会有差异，有时其意思可能天差地别，因此准确感知用户产品使用场景，对于准确理解用户提问的问题及由此产生的对话，从而减少甚至不产生理解歧义就至关重要。

机智交互系统一般包括三个部分：实景检测装置、基于实景语义的对话系统和实景互动帮助装置。实景检测装置用户获取用户产品使用过程信息，再将信息及用户用自然语言提出的问题传递给基于实景语义的对话系统；对话系统用于理解用户真实意图，采用了改进的bert模型；实景互动帮助装置则根据用户意图给出直观的使用指导，包括自然语言信息，手势指示信息，及视频帮助信息。

基于机智交互技术的实景语义对话系统

针对上述问题, 作为项目负责人的西安电子科技大学赵克教授，带领团队提出了基于实景语义理解的自然语言处理模型，使得人机交互技术有了突破式的“起飞跳跃”，实现了从理论创新到核心技术突破。

赵克教授长期从事人工智能及其基础应用的研究，进行了大量的人工智能领域的战略性、原创性基础研究工作。赵克教授从硕士和博士期间，就开始几年进行专家系统应用和知识表示相关应用的研究，自1999年起，采用知识工程（含专家系统）技术，提出了发明创意“面向网络的智能自动辅导系统”，并作为研究团队负责人主持开发此项目。

赵克教授在多年基于深度学习的自然语言理解的研究与应用开发工作的基础上，提出了实景语义理解的研究方向，并将应用重点放在了软件操作实景语义理解上，即人机交互的应用研究中。在研究过程中发现，虽然项目组采用了现有深度学习先进的自然语言处理模型——Bert模型，但在处理用户基于实景中的对话时，模型处理效果较差。项目组分析其原因发现，人们基于实景对话时，对实景环境的省略是造成理解歧义的关键。

项目组通过对人们在生产实际中使用自然语言过程中的省略与歧义的产生原因的进一步深入探索研究，对Bert模型进行了改进。改进后的模型不仅输入用户的问题信息，同时将实景信息也融入其中。在模型的Transformer的注意力机制中，计算时需用到矩阵Q(query，查询)、K(key，键值)、V(value，值)。而在改进后的模型中，自注意力接收的是输入(词嵌入组成的文本嵌入矩阵)或者上一个编码器模块的输出，无论是嵌入矩阵还是上一个编码器模块的输出都是包含了实景信息，这样就解决了实景信息与用户语言信息的有机融合。

项目组带领学生进行了大量实验，实验结果证明改进后的Bert模型在实景中的对话质量有了大幅提升，从而实现了基于实景语义理解的自然语言处理模型，使得人机交互技术有了突破式的“起飞跳跃”，实现了从理论创新到核心技术突破。

在此研究基础上，赵克教授带领项目组结合现有先进的自然语言处理技术，与实尔通合作，提出并实现了基于实景语义理解的软件操作互动帮助系统。

软件操作互动帮助系统的特点

操作简便

用户只需用自然语言描述问题，就可获得包括手势指示信息、自然语言信息及视频等直观的帮助信息。

界面友好

用户无需了解额外的知识，便可清楚明白屏幕上的所有信息、提示、指令，其界面适合各层次、各年龄的广大群体永户。

响应迅速

系统采用技术，对大容量数据查询，响应速度很快。

扩充性好

具有良好的扩充性，可随时增加软件功能的操作辅助内容和数据。