“官宣！钉钉推出智能无人前台M2S，搭载“多模态交互”技术”

本篇文章2377字，读完约6分钟

记者从钉子户智能硬件团队获悉，m2s是钉子户面向公司顾客推出的智能无人前台产品，基于多模态交互，设备具备听、说、识人、思考的能力，智能化 据悉，包括m2s在内，钉钉在未来组织大会上推出了一系列智能硬件新产品，将进一步升级钉钉软硬一体智能移动办公室的生态。

世界上第一个利用多模态交互的智能办公硬件

搭载多模态交互技术的m2s智能无人前台，可以根据人的不同轻松说话，也可以根据人的身份主动提供不同的服务，更接近人与人之间的信息表达方法。

什么是多模态交互？ 模态一般是指感觉，多模态交互是指为机器融合多种感觉，使机器具有看、听、说等能力。 也就是说，通过复制、声音、视觉、动作、环境等多种多样的游戏进行人机交互，充分模拟人机交互的方法。

事实上，自多模态交互技术的概念提出以来，尽管人工智能技术的迅速发展趋于多样化，但真正意义上的多模态交互技术尚未实现产品化。 达摩院仪器智能技术语音实验室研究员付强(花名:先声)表示，钉钉智能无人前台m2s是世界上第一个在小型智能设备中运用多模态交互技术、工程优化成熟的产品。

目前，业界主流的语音对话产品需要用唤醒+语音指令的方法进行对话。 另一方面，钉钉智能无人前置m2s可以通过图像算法准确检测人接近机器的距离，结合钉钉的组织关系，自动评估身份后自主开始对话，无需唤醒语言即可唤醒设备，这是公司的办公场所

技术上，m2s通过基于图像识别的人脸检测和运动轨迹评估、云上的解决引擎，充分融合音视频新闻，结合基于麦克风阵列的声源定位和语音分离算法，无论多人还是设备前，m2s都是交互式的 信号解决层面的另一个亮点是应用基于深度学习的回声消除算法，能够比较有效地应对成本层面电子设备的非线性声效应。 ·；

在语义理解方面，钉子户智能无人前台采用包含知识文库等最新结合知识的神经互联网模型，检测说话者的行为意图。 另外，在数据层面上，通过各种扩展、公司个性化纠错、实时热词更新技术等，保证了模型的泛化性能。

钉钉的组织能力(多形态交替找到用途(/s2/) ) ) )。

目前主流的ai产品在实际工作时，都是在各种模式之间独立工作的。 也就是说，这些产品有眼睛和耳朵，但是眼睛只进行图像解决，耳朵只进行声音识别，执行时不进行融合计算，在采用上也没有形成协调的交互作用。

钉钉智能办公工程师佩林仁表示，钉钉的目标是建立全球最领先的智能办公基础设施，钉钉智能硬件产品团队将国内公司的办公场景，以及日本、美国等发达国家公司的办公场景 例如，中国公司的前台，往往很多时候很忙，作为公司的门面，最重要的接待服务反而提不上去。 或者房地产、保安兼职，信息表达的外部访客不专业，信息表达、登记错误多，效率低下，使公司损失了重要的潜在客户。 在日本，由于人工费昂贵，很多中小企业不能雇前台，只放了一台电话机，访客来前台自己联系，方法传到了以前，效率也很低。 钉钉智能硬件团队希望在全球率先突破，大力解放公司前台，开发能够直接承担前台职责的智能硬件产品。

基于这样的思考，与钉钉组织的在线能力，给多形态交互这一ai技术带来了落地土壤。 简单地说，钉钉组织的在线能力使公司的组织新闻高度结构化和在线化。 这种成熟、完整的组织关系和能力，结合视觉识别技术，可以准确识别员工身份，为多模态互动落地提供成熟的环境，也是实现不被唤醒、准确身份识别等技术落地和智能访客接受的基础。

m2s引入知识图谱技术，建模各公司员工-职务-部门之间的关系，实现智能匹配，可以满足访客精准搜索、模糊搜索等多种诉求。

ai技术的最高境界是感受不到技术的存在。 换言之，人机交互的迅速发展动力来源于对更自然的方法的追求。 融合视觉、图像、语音和触摸等多模态感知与识别技术是构建自然人机交互系统的基本要素。 在人机交互系统的各个阶段，引入多模态新闻会使交互过程更加自然和准确。 据悉，此次钉钉智能无人前置m2s使用的多模态交互技术是阿里巴巴达摩院的要点研究方向之一。

钉钉将硬件和软件一体化的数字化努力方法[/s2/]

基于多模态交互技术和钉钉的软硬一体的办公室生态，m2s具备听、看、认人的能力，帮助公司实现智能访客接待、上班等场景的诉求。

m2s通过检测人接近的行为，自动评价身份，积极开始对话。 是工作人员，自动进行脸部识别的智能检查。 设备使用6核2g a72 cpu，支持0.5s快速识别、8人多人识别、10000个单一设备可识别人数、1000000条离线打卡记录。

我是访问者。 m2s智能无人前台进行智能访客接待。 通过积极展开对话，m2s引导访问者进行自助注册，开始视频通话并迅速完成身份验证，访问者新闻为魔点访问者(钉钉第三方APP )。 设有魔点门禁、访客通行权限的公司组织，只要访客在视频通话页面直接点击接待，访客即可限时露面出入企业门禁。 然后，来访记录将完全在线化，来访者的预约和记录将在线沉淀，实现无纸化来访者的接待，pc和手机端可以一键导出来访记录，大大提高统计效率。

然后，基于与钉钉智能人事的联系，m2s实现了考勤的自动统计和自动计算，从而避免了hr在整理excel表、拉数据的事件中消耗太多精力。

钉钉智能硬件事业部总经理任卿(花名:易统)表示，钉钉硬件不是为了使某个单一硬件智能化，而是为了打造软硬件一体化的生态，为公司提供物理(/(/K0 ) )

中国有4300万家公司。 目前，大多数中小企业仍在使用以前流传的办公模式，人、硬件、软件三者长期处于分裂状态，特别是以前流传的门禁、考勤等产品效率低下，相互隔离，功能单一，物品齐全 办公硬件作为公司可见的可触摸环节，智能化更容易感知，也是公司接触数字化的最短路径。

为了便于综合介绍，公司的数字化要求物理办公室空之间的数字化，空之间的数字化需要m2s这样的智能办公室硬件。