［钉科技观察］近日，“第四届世界声博会暨2021科大讯飞全球1024开发者节”在合肥收官，科大讯飞开放平台2.0战略的发布成为期间重点，意在推进人工智能生态更好地实现共同繁荣。在开幕式与主论坛环节，“人工智能技术源头创新”被多次提及，代表了科大讯飞一贯的技术信仰。2.0战略发布后，科大讯飞研究院院长胡国平也介绍了技术生态顺应开放平台升级做出的变化。

胡国平说，科大讯飞坚持在人工智能的技术层面进行源头技术的突破和多技术的融合，来推动实现系统性创新。

在科大讯飞的理解中，系统性创新有三个关键要素：一是重大系统性命题到科学问题的转化能力；二是从单点的核心技术效果上取得突破，跨过应用门槛；三是把创新链条上各个关键技术深度融合，最终实现真正意义上的系统性创新。

阶段行动来看，科大讯飞重点关注四大源头技术：端到端的建模，解决分段建模式的信息损失问题；无监督训练，实现用更少的数据获得更好的效果；多模态融合，充分利用多维多元信息；外部知识融合，把人类的常识、知识融入到算法模型的构建中。

具体来看：

端到端建模。在深度学习的框架下，端到端的建模可以有效的缓解分段建模所带来的信息损失，以及错误的级联传播问题。

讯飞首先把端到端建模技术成功应用到了复杂场景下的语音识别，构建了前后端一体化的语音识别系统，提高复杂场景下的语音识别效果；另外把端到端建模的技术成功运用到语音的翻译任务上，实现了CATT语音翻译技术，该技术可以把一个语种的语音输入自动识别并翻译成另外一个语种的文本进行输出，实现了语音识别和机器翻译任务的统一建模，缓解语音识别错误对翻译效果的影响。

无监督训练。包括弱监督、半监督等一系列创新。旨在破解对大规模无监督训练数据的依赖造成的人工智能突破瓶颈。

无监督训练在语音合成上的应用，就有为了降低对语音合成音库的规模，提出来的听感量化的编码的方法，借助语音识别数据，以其他人的语音合成音库来实现多人的混合模型的训练，只需要少量发音人的数据，就可以实现这样发音人的高音质语音合成。今年进一步提出了全属性可控语音合成方法，实现了从海量语音数据中无监督的学习发音内容、情感和音色这三个属性，并且使用信息约束训练，使得三个属性相互结合，可以实现对音色、情感等属性的自由控制。

讯飞的语音识别有35个语种的识别的识别率，从80%进一步提升到了90%，而语音合成的24个语种的自然度也从3.5分提升到了4.0分。同样也在语种的机器翻译，多语种的图文识别上都取得了显著进步，在6个少数民族语言方面也实现了同样的技术进步，跨过了使用门槛。

另外一个重要应用领域，就是基于弱监督的句子级的语义表达。基于这样一个框架，以及在易训的模型技术上的一些积累，完成了中文、粤语以及6个少数民族的相关模型，推动少数民族语言的认知智能等相关技术的研发。

多模态融合。人机交互是多模态融合的典型应用场景。

一个多模态融合的例子是复杂文档的结构化。比如考试中的一份试卷，具有各种各样的题目、表格、插图，以及学生手写的的答题信息等等。科大讯飞基于多模态信息融合的技术，不仅使用题目中的相关的语义的信息，还用到了各种版面的特征，例如“表示质地大小”这样的视觉特征，“表示缩进居中”这样的空间特征等等，最终实现了不同场景下文档结构化的精度的提升。类似于教育场景下的教辅作业的语义结构化的精度，从原来92%提升到了98%。同样的技术被推广到了更多的行业文档，例如合同、简历、文书等等上，旨在为开发者在自己不同的行业领域开展智能化文档处理提供更好的技术支撑。

外部知识融合。现在大部分的深度学习的模型都是基于有监督或者大量的无监督的数据训练出来的，但是从智能系统的角度来说，人类的知识其实是一个非常重要的信息来源。

这方面讯飞做了两个关键的技术突破。一是在语音交互任务中，把人类的常识、知识总结为事理图谱，融入到整个交互的系统中，从而实现机器能够与人的主动交互。二是使用海量的人类已有的医学文献知识，提高机器的自动诊疗的准确率，讯飞把各种医学文献知识进行了结构化处理，形成了医学的知识图谱，并且使用图神经网络对于图谱进行编码，这样就可以基于深度实时的推理网络，从知识和病历两个视角进行注意力的交互学习，综合决策给出最终的治疗结果，类似的实践也出现在了教育、司法等领域。

以上单点技术上持续进步外，讯飞也关注三个方面的系统层面的技术挑战，毕竟人工智能往往是一个复杂的系统；一是面向全局目标的技术架构的解析能力；二是全链条贯穿的多技术融合创新能力；三是基于人机耦合复杂系统的自进化能力。

胡国平还介绍了三个具体的复杂系统的构建的案例。

一是以低延时下的多技术融合的语音同传系统为例，解释面向全局目标技术架构的能力。讯飞已经建立模型，端到端的实现了从语音到文本的自动翻译；接着是把传统句子级别的语音合成系统改造为流式的语音合成，对实时输入的片段文本进行合成；同时实现基于一句话的语音合成系统的音色迁移，使得合成的语音人能够保持原始说话人的音色，实现更好的同传体验；为提高类似于大会演讲上语音识别和翻译的效果，还进一步把大会演讲PPT中的文字全部OCR（特别是相关的专业术语），并且实时送入语音识别系统进行实时的优化，最终在尽可能保证翻译效果的同时实现低延时的同传翻译。目前讯飞最新的翻译系统的平均延时已经从原来的8秒下降到4秒。

二是新推出来的多模态虚拟人交互系统。虚拟人的交互需要集成语音识别、对话理解、对话生成、语音合成、虚拟人形象生成等等多项的人工智能单点技术，需要实现全面和技术贯穿，才能实现更一致更和谐的虚拟人交互系统。

以情感维度为例，讯飞实现了基于多模态信息的情绪感知，基于情绪的回复对话文本生成以及可展现对应情绪的虚拟人的表情和语音合成。基于全局的系统性的规划设计，以及全链条单点技术的有效配合，造就爱加有情感、有个性的多模态虚拟人。

三是讯飞自研系统。以科大讯飞所研发的智医助理的系统为例，智医助理系统在基层医生的诊断过程中就直接提供包括诊断建议、合理用药、进一步问诊问题等核心的功能，帮助基层医生实现更好的诊疗。同时，当现场的基层医生和机器诊断结果不一致的时候，系统还会将病历转移到上级的医院进行更进一步的诊断。系统也会持续的收集基层医生和专家医生的在整个交互过程中的这种反馈信息，用于系统的实时进化。两年以来，智医助理和所服务的2万多基层医生的2.9亿次的持续互动，机器的自动诊断的正确率从95%进一步提升了97%。基层医生的诊疗水平在机器辅助下，从70%提升到了90%。

胡国平说，讯飞AI系统和医生实现了相互启发、相得益彰、共同进步，实现了人机耦合复杂系统的持续进化。类似的自进化机制，也同样在个性化学习、语音交互、语音翻译等领域实现了成功应用，推动了科大讯飞相关产品和系统的持续进步。

再向更远的源头，科大讯飞人也在包括脑科学、数学、量子等学科方面进行了长期的基础研究的布局。（钉科技根据胡国平在“2021科大讯飞1024全球开发者节”上的发言整理并原创，转载务必注明“来源：钉科技”）