Meta.jpg

2月17日，据报道，像ChatGPT这样的语言模型在自然语言处理领域带来了根本性的变化，但它们在一些简单的任务中仍然存在明显的缺陷，例如算术和事实检查。

根据arsTechnica的报告，最近，Meta的研究人员透露，人工智能语言模型Toolformer可以通过使用外部工具（如搜索引擎、计算器和日历）自学，而不会失去其核心语言建模能力。

Toolformer的关键在于它可以使用应用程序接口（API），这是一组允许不同应用程序相互通信的协议，通常以无缝和自动化的方式运行。在培训期间，研究人员向Toolformer提供了一小组人工编写的示例，以演示每种API的使用，然后要求其使用潜在的API调用来注释大型语言建模数据集。它以“自我监督”的方式学习，这意味着它可以在没有人类明确指导的情况下学习。

该模型已学会预测每个基于文本的API调用，并可以在需要时插入调用。它还可以根据上下文决定使用哪个工具以及如何使用它。例如，Toolformer可以使用计算器来解决大型语言模型的算术限制。Toolformer基于预先训练的GPT-J模型，该模型具有67亿个参数。测试表明，其性能优于具有1750亿参数的GPT-3模型。

有了像Toolformer这样的技术，我们可以看到一个潜在的未来，即增强使用外部应用程序能力的语言建模模型将成为功能更强大、更可靠的助手。然而，这种执行API调用的能力也可能增加模型对用户数据（在应用程序中）的损害，或在外部世界（通过web浏览器或通信工具）造成麻烦，因为他们可能在提供答案时意外调用这些功能。