亚马逊科学家提高了Alexa理解上下文的能力

对于诸如支持Alexa的系统，精确定位某个人在某个问题中所指的人，地点或事物一直是一项长期挑战。通常用于解决此参考分辨率问题的一个技巧是槽位残留，它使用语法上下文来缩小目标名词的范围。例如，如果有人问“ 狮子王什么时候在珠宝店玩?”，然后又问“附近有没有一家好的墨西哥餐厅?”，“那里”被假定为“珠宝店”。

插槽转移通常在目标狭窄的应用程序中可以顺利进行，但是当涉及到知识库跨越数百(或数千)个域(如Alexa)的AI时，事情就变得更加复杂。不同的服务对同一数据使用不同的插槽，并且在对话过程中，自然语言理解模型必须确定一个服务使用的插槽(例如，电影放映服务，其使用插槽名称“ Theater_Location”标记位置数据”)应从另一个使用的插槽继承数据。

这就是为什么亚马逊的Alexa AI部门的研究科学家最近研究了新颖的模型，这些模型学会了从先前的对话到当前的对话。通过对每个插槽值进行独立判断，这些模型在验证测试中显着胜过基于规则的基线系统。

正如研究合著者Chetan Naik和Pushpendre Rastogi 今天上午在亚马逊的Alexa博客上的一篇文章中所解释的那样，插槽值在许多Alexa服务中都是相关的，因此结转一个插槽值的可能性很大，这意味着结转另一个插槽值的可能性很大。例如，美国的服务业在城市和州都有空位，如果这些空位中的一个从一个对话转至另一个对话，则另一对话也很有可能也应如此。

该团队在两个机器学习系统中利用了这些相关性，第一个是基于长短期记忆(LSTM)架构的指针网络。一个双向 LSTM(编码器)通过向前和向后处理顺序输入数据将其转换为数学表示(矢量)，而另一个LSTM(解码器)将其转换回数据序列。实际上，指针网络输出时隙的子集，该子集将从上一轮对话中继续。

团队考虑的另一种架构是使用与第一种相同的编码器，但是它将指针生成器解码器替换为基于Google的Transformer架构的自注意解码器。这种特殊的自我关注机制使它能够了解在决定如何处理给定输入时要重点强调的数据，主要是通过将每个输入时隙与在先前的对话中已经确定的所有其他时隙进行比较。

研究人员使用两种语料库(一种是标准的公共基准，另一种是内部数据集)对他们的系统进行了测试，他们发现，新的体系结构比去年详细介绍的Alexa AI系统更好地模拟了插槽的相互依赖性。变形金刚系统的性能略好于指针生成器，但在识别较长对话范围内的时隙相关性方面具有优势。

这项工作在计算语言学协会的会话式人工智能自然语言处理研讨会上获得了两次最佳论文奖，但是Naik，Rastogi和同事们并没有为此感到鼓舞。实际上，他们已经在计划通过更大的数据集和诸如转移学习之类的技术来进一步改善时隙携带。