Meta宣告开源AI模型Llama 3.1演习时期运用1.6万个英伟达H100 GPU_模子_开源

2024-12-21 13:23:23 智能写作

Llama 3.1 模型家族统共有三个版本，规模最大的旗舰版本拥有 405B（4050 亿）参数，是近年来最大的开源 AI 模型。
别的两个较小版本的参数量分别是 700 亿和 80 亿。

Meta宣告开源AI模型Llama 3.1演习时期运用1.6万个英伟达H100 GPU_模子_开源智能写作

Meta 声称，Llama 3.1 405B 模型在多项基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。

“到目前为止，开源大型措辞模型在功能和性能方面大多掉队于闭源模型。
现在，我们正迎来一个由开源引领的新时期。
”

Meta 在官方博客中写道，“迄今为止，所有 Llama 版本的总***量已超过 3 亿次，而这仅仅是个开始。
”

（来源：Meta）

模型评估

据先容，Llama 3.1 系列模型展现了多方面的能力提升，在知识、可操纵性、数学、工具利用和多措辞翻译等功能方面可与顶级 AI 模型相媲美。

Meta 对 Llama 3.1 进行了全面的评估，包括超过 150 个基准数据集的测试，涵盖多种措辞和任务类型。

此外，该模型还经由了广泛的人工评估，与竞争模型在真实运用处景中进行比较。

图 | 模型评估结果（来源：Meta）

总体而言，Llama 3.1 405B 模型在推理、数学等多项任务中的表现与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 相称，在长文本、多措辞等领域乃至更胜一筹。

不过在代码基准测试中，Llama 3.1 405B 模型的表现不如 Claude 3.5 Sonnet。

图 | 模型评估结果（来源：Meta）

此外，在小型模型性能比拟中，Llama 3.1 的 8B 和 70B 模型均表现出色，与同等规模的闭源和开源模型比较具有很强的竞争力，在险些所有测试中都打败了对手。

图 | 模型评估结果（来源：Meta）

模型能力与运用

Meta 表示，Llama 3.1 系列模型的高下文窗口达到了 128K，相称于一本 50 页的书，并且供应英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等多措辞支持，大大提升了长文本和多语种内容的处理能力。

Meta 天生式人工智能副总裁艾哈迈德·达尔（Ahmad Al-Dahle）表示，Llama 3.1 模型能够集成搜索引擎运用程序编程接口（API，Application Programming Interface），根据繁芜查询从互联网检索信息，并调用多个工具完成任务。
例如，它可以天生并实行 Python 代码来绘制图表。

不过，Llama 3.1 目前还不是多模态模型，仅支持文本输入。
但 Meta 表示，正在开拓能识别图像、***，并理解（和天生）语音的 Llama 模型。

在运用方面，与之前的 Llama 模型一样，Llama 3.1 405B 可在亚马逊 AWS、微软 Azure 和谷歌 Cloud 等云平台高***或利用。
它还会与 Meta 的产品结合，为用户供应谈天机器人和信息查询等做事。

该模型目前已经用在 Meta.ai 和 Meta AI 虚拟助手上。
从本周开始，Llama 3.1 将首先上岸 WhatsApp 和美国的 Meta.ai 网站，随后几周将上线 Instagram 和 Facebook。

虽然最前辈的 Llama 3.1 405B 模型可以在 Meta.ai 上免费利用，但每周提示数量有限（上限不详），超过限定则会切换到更小的 70B 模型。
这彷佛表明 405B 模型对付 Meta 来说还是太昂贵了，无法全面运行。

模型规模与演习

Llama 3.1 405B 模型的演习规模令人惊叹。

Meta 利用了超过 1.6 万个英伟达 H100 GPU，在超过 15 万亿个 tokens（的数据集）上进行演习，相称于 7500 亿个单词。

只管 Meta 没有透露详细的开拓本钱，但仅根据其利用的英伟达芯片价格估算，本钱就已高达数亿美元。

Meta 对其全体演习堆栈进行了重大优化，以达到如此大规模的演习目标。

在模型架构方面，他们选择了标准的仅解码器 transformer 模型，而非稠浊专家模型，以最大化演习稳定性。

演习数据方面，Meta 通过改进处理和数据筛选流程，提高了演习数据的质量。

此外，他们还选取了迭代式的后演习程序，“每轮都利用监督微调和直接偏好优化，用高质量的合成数据不断提升模型性能”。