当一个孩子学习说话时，没有人会喋喋不休地解释主语和动词之间的区别，或者他们在句子中的位置。然而，这就是人类教导计算机理解语言的方法：我们对句子进行注释，描述单词的结构和意义，然后我们使用这些句子来训练句法和语义解析。这些解析可帮助类似亚马逊Alexa等语音识别系统理解自然语言。这是一个需要花费大量时间的过程，特别对于不太常见的语言来说，非常困难。
本周，麻省理工学院的研究人员撰写了一篇论文，描述了培训解析的新方法。通过模仿儿童学习的方式，训练系统观察标题视频并将单词与记录的动作和对象关联起来。这种方法可以使训练解析变得更加容易，并且可以改善人类与机器人的交互。
人工智能
例如，配备此解析的机器人可以观察其所在环境，从而加强其对口头命令的理解， 即使命令不清楚。
麻省理工学院计算机科学与人工智能实验室（CSAIL）研究员兼大脑机器研究中心（CBMM）研究员安德烈巴布说：“人们交谈时使用不完整的句子，表达连续的意思但语言组织混乱。” ， “你希望家中的机器人习惯自己特定的说话方式，并且能够理解他们表达的内容。”
Barbu是本周在自然语言处理实验方法会议上提交的论文的合著者。为了训练他们的机器人，研究人员将语义解析与被训练识别视频中人类和活动对象的计算机视觉组件相结合。
他们编辑了大约400个视频的数据集，描述了人们执行诸如拾取物体或走向物体等动作。众包平台Mechanical Turk的参与者为这些视频撰写了1200个标题，其中840个专门用于培训和调整，其余的用于测试。
代码概念图
通过将单词与视频中的动作和对象相关联，将学习如何构造句子。通过该培训，它可以准确地预测没有视频的句子的含义。由于带标题的视频比带注释的句子更容易制作，这种方法应该更适用于训练。同时，研究人员表示，这种方法还可以帮助我们更好地理解幼儿学会说话的方式。
“孩子可以从不同的方式获得冗余的补充信息来了解世界，包括听父母和兄弟姐妹谈论世界，以及触觉信息和视觉信息，”论文合著者Boris Katz说，他是首席研究科学家兼位于MIT计算机科学与人工智能实验室的 InfoLab集团负责人， “这是一个惊人的难题，需要同时处理所有感官信息输入。这项研究更深远的意义是了解世界上这种学习是如何发生的。”
