Meta发布大型语言模型LLaMA好于OpenAI

2月27日消息：作为Meta致力于开放科学的一部分，Meta最近发布了一个高级大型语言模型，称为LLaMA（大型语言模型Meta AI）。该模型允许研究人员在人工智能领域进行更多探索。LLaMA比其他型号更小、更强大，因此可以在没有太多设备的情况下使用。通过这种方式，更多的人可以参与到这一重要且快速发展的领域。

Meta首席执行官扎克伯格在Instagram上表示，LLaMA可以帮助研究人员在许多复杂任务中取得进展，例如生成文本、对话、总结文章、证明数学定理或预测蛋白质结构。

Meta的官方网站上有一篇介绍LLaMA的文章。LLaMA有四个不同大小的模型，分别是70亿、130亿、330亿和650亿参数。最小的LLaMA7B也使用了超过1万亿的代币进行训练。Meta表示，在许多基准测试中，只有十分之一参数的LLaMA-13B优于OpenAI的GPT3（175B）。GPT3是ChatGPT使用的GPT3.5的前身。LLaMa-65B还可以与业界最好的Chinchilla-70B和PaLM-540B竞争。

去年5月，Meta为研究人员发布了一个名为OPT-175B的大型语言模型。去年年底，有一款名为Galactica的型号，但后者在48小时内迅速被下架，因为它经常说有偏见或不正确的信息。

Meta表示，我们认为，负责任地使用人工智能和大规模语言模型需要全社会——包括学者、民间社会组织、政策制定者和行业——的共同努力，并制定明确的准则。我们期待着看到社区可以从LLaMA中学到什么——并最终创造什么。