Jurassic-X: 让神经模型学会符号推理( 二 ) 解读|Antonio编辑丨陈彩娴近期

文章图片
对标GPT-3的LLM：Jurassic-1
3混合系统尽管基于神经模型的方式获得了令人印象深刻的性能，不过GPT-3在涉及到一些哪怕是很简单的推理时也会犯一些低级错误，尤其涉及到比较复杂的语言描述，例如多个数相加；涉及到最新的消息，例如纽约现在的天气。它仅仅从过去训练好的数据中进行推断天气情况，难以迁移到新的场景下，而如果用更新的数据，则需要重新训练模型，而这需要巨大的代价。

文章图片
不同专家系统之间的连接
因此MRKL使用了代表当代AI在商业角度下的第三个趋势——使用神经和符号结合的混合系统。 MRKL融合了不同的模块，有些模块使用了深度学习，有些则使用符号推理模式的专家系统，例如直接从某些数据知识库中进行检索等模块，来获取更新的信息。
MRKL中一个出色的设计被称作是路由（router）的模块，它可以根据用户的问题匹配一个专家系统：例如如果问题涉及到数学，它会转向一个计算器，如果问题涉及到汇率，它会路由到一个汇率转换器，如果是天气的话，它会转到一个天气网站等等；如果路由对于问题不确定，它会先通过Jurassic-1等语言模型利用上下文推断出应该转向哪个专家模块。
4权重更新方式MRKL还采用了prompttuning的方式对于模型的下游任务进行更新，如上述，这种方式避免了灾难性遗忘的微调模式以及零样本学习的低性能。与传统的prompttuning方式相比， Jurassic-X使用了更加精细的设计:（1）依赖于模型输入的prompt学习方式。（2）检索增强的prompt生成方式。（3）递归式地应用冻结了的LM模型。论文中做了更加详细的技术介绍，感兴趣的读者可以直接阅读论文。

文章图片
MRKL中采用递归方式涉及promptlearning
5应用实例博客中介绍了几种MRKL的应用场景举例，都是一些值得关注和实用的一些话题，涉及到方方面面可能出现在日常场景中的问题。
用人类语言去阅读和更新数据库

文章图片
问题：买玫瑰味的洗发水
Jurassic-X会从人类语言中提取中关键信息，并从商店清单中去检索产品，加入到购物车的数据库中。这在智能助理，电子商务等都有应用前景。
对于当下问题的文本生成

文章图片
问题：谁是当下的美国总统
Jurassic-X会融合当下及时更新的外部数据库，例如维基百科去产生更及时的数据。
数学操作

文章图片
问题：公司的655400份份额被94个员工平均分配，每个员工得到多少？
Jurassic-X会通过语言模型提出去关键信息，并且应该去寻找一个“数学专家” ，也就是计算器，从而得出正确结果。
组合型问题

文章图片
问题：更多的人住在TelAviv还是Berlin？
Jurassic会将组合型问题分解为若干子问题：TelAviv的人口是多少？Berlin人口是多少？哪个数字更大？等，解决了每个子问题后再把它们汇总在一起。更重要的是，这样也增加了可解释性，说明了模型给出答案的依据。