认识开源模型的新王者Llama 3.1 8B70B 和 405B

它推动了开源 LLM 的边界，具有比 GPT4o、Mistral 和 Anthropic 更好的基准测试结果。

新模型：

• Meta Llama 3.1 多语言大型语言模型（LLMs）系列是一组经过预训练和指令调优的生成模型，具有 8B、70B 和 405B 三种规模（文本输入/输出）。

• 所有模型都支持长上下文长度（128k），并针对推理进行了优化，支持分组查询注意力（GQA）。

• 针对多语言对话用例进行了优化，并在许多可用的开源聊天模型中，在常见行业基准上表现优异。

• Llama 3.1 是一种自回归语言模型，具有优化的变换器架构，使用 SFT 和 RLHF 进行对齐。其核心 LLM 架构与文本输入和输出的 Llama 3 相同，采用密集结构。

• 工具使用，Llama 3.1 指令模型（文本）经过微调以支持工具使用，使其能够生成用于搜索、图像生成、代码执行和数学推理的工具调用，并且还支持零-shot 工具使用。

Llama 系统安全性：

Llama Guard 3 是一种高性能输入和输出审核模型，旨在帮助开发者检测各种常见类型的违规内容。

它是通过微调 Llama 3.1 模型构建的，并优化以支持检测 MLCommons 标准分类的危害，满足各种开发者用例的需求。

这是首个此类开放保护措施，支持 Llama 3.1 的最新功能，包括 9 种新语言和更长的上下文窗口。Llama Guard 3 还经过优化，以检测有用的网络攻击响应，并防止 LLM 生成的恶意代码在使用代码解释器的 Llama 系统的托管环境中执行。

为了方便 Llama Guard 3 的部署，我们发布了多个版本的模型，包括仅文本版本和量化版本，以降低部署成本。Llama Guard 无缝集成到我们的参考实现中，以支持我们的社区从一开始就负责任地构建。

Prompt Guard：

Prompt Guard 是一个强大的工具，用于保护 LLM 驱动的应用程序免受恶意提示的影响，以确保其安全性和完整性。

提示攻击的类别包括 提示注入 和 越狱：

• 提示注入是利用将不受信任的数据从第三方纳入模型的上下文窗口，以使其执行意外指令的输入。
• 越狱是旨在覆盖模型内置的安全和保护功能的恶意指令。

Prompt Guard 旨在在新的设置和对抗性攻击的分布中表现出色并具有良好的泛化能力。我们使用多语言基础模型，显著增强了模型在非英语语言中识别提示攻击的能力，为您的应用程序提供全面保护。我们将 Prompt Guard 作为开源发布，以便您可以根据特定的应用程序和用例进行微调。