![Meta](https://img.sysgeek.cn/img/logo/meta-logo-1.jpg)
Meta 正式发布了 Llama 3.1 系列模型,包括 8B、70B 和 405B 三个版本。其中,405B 版本是首次公开亮相,在通用知识、可控性、数学能力、工具使用和多语言翻译等多个方面已经具备与顶尖 AI 模型相抗衡的能力。
此次更新的 8B 和 70B 两个较小模型版本同样支持多语言处理,且上下文长度提升到了 128K,推理和工具使用能力也得到了增强。这意味着,Llama 3.1 系列模型能够应对更复杂的任务,例如长文本摘要、跨语言对话和编程辅助等。
此外,Meta 还调整了模型的使用许可,允许开发者利用 Llama 模型(包括 405B 版本)的输出,进一步优化其他模型。
模型性能评估
Meta 对 Llama 3.1 进行了全面的性能测试,使用了超过 150 个涵盖多种语言的基准数据集,并通过人工评估,在真实场景中与其他模型进行了对比。
- 与顶级模型的较量:Llama 3.1 在与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 等行业领先模型的比较中表现出色。
- 同级别模型的比拼:在与参数规模相近的闭源和开源模型的对比中,Llama 3.1 系列(包括小型模型)展现了强劲的竞争力。
这些结果充分证明了 Llama 3.1 在各种应用场景下的卓越表现,无论是大型模型还是小型模型,都能在各自领域中脱颖而出。
![Llama 3.1 405B 与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 对比](https://img.sysgeek.cn/img/2024/07/meta-llama-3-1-p2.jpeg)
![Llama 3.1 8B/70B 与 Gemma 2 9B IT 和 GPT-3.5 Turbo 等模型对比](https://img.sysgeek.cn/img/2024/07/meta-llama-3-1-p3.jpeg)
![Llama 3.1 405B Human Evaluation](https://img.sysgeek.cn/img/2024/07/meta-llama-3-1-p4.jpeg)
模型架构
Llama 3.1 405B 是 Meta 迄今为止发布的最大规模模型,训练过程中涉及超过 15 万亿个 Token。为确保在合理时间内完成如此庞大的训练,Meta 团队对训练流程进行了大幅优化,动用了超过 16000 个 H100 GPU。这也是 Llama 系列首次在如此庞大的规模上进行训练。
![Llama 3.1 模型架构](https://img.sysgeek.cn/img/2024/07/meta-llama-3-1-p5.jpeg)
为了应对这一挑战,Meta 采取了一系列设计选择,以确保模型开发过程的可扩展性和简洁性:
- 架构选择:采用标准的仅解码器变换器模型架构,并进行了微调,没有使用混合专家模型,以确保训练的稳定性。
- 迭代训练:实施了迭代训练,每轮都包括监督微调和直接偏好优化,这为每轮训练生成了最高质量的合成数据,全面提升了模型性能。
- 数据质量提升:相比于之前的 Llama 版本,训练前后的数据在数量和质量上都有显著提升。为训练前数据开发了更精细的预处理和筛选流程,训练后数据则制定了更严格的质量保证和过滤方法。
- 规模效应:遵循语言模型规模化法则,Llama 的新旗舰模型在性能上超越了使用相同训练程序的小型模型,同时利用 405B 参数模型来提升小型模型的训练后质量。
- 量化技术:为了支持 405B 这样的大规模模型进行生产推理,模型从 16-bit (BF16) 量化到 8-bit (FP8),有效降低了计算需求,让模型能够在单一服务器节点上运行。
这些创新和优化措施让 Llama 3.1 系列模型在性能和效率上达到了新的高度,为 AI 领域的发展提供了强大动力。
指令和聊天微调
在开发 Llama 3.1 405B 的过程中,团队:
重点关注以下几个方面:
- 提升模型响应用户指令的能力
- 提高整体输出质量
- 增强对详细指令的遵循精确度
- 确保模型的高安全性
面临的主要挑战包括:
- 提升模型响应用户指令的能力
- 提高整体输出质量
- 增强对详细指令的遵循精确度
- 确保模型的高安全性
为克服这些挑战,团队采用了以下策略:
- 多轮精调:在预训练模型的基础上进行了多轮精调,生成最终的聊天模型。每轮精调包括:
- 监督式微调 (SFT)
- 拒绝抽样 (RS)
- 直接偏好优化 (DPO)
- 合成数据生成:主要使用合成数据来创建 SFT 的示例,通过多次迭代不断提高合成数据质量。
- 数据处理技术:采用多种先进的数据处理技术,确保合成数据的高质量,从而大幅扩展各项功能的微调数据量。
- 精细调整:精心调整数据,确保模型在所有功能上保持高质量。例如:
- 即使将上下文扩展到 128K,模型在短上下文基准测试中的高性能依然得以保持。
- 在增加安全防护措施的同时,模型仍能提供最有帮助的回答。
通过这些努力,Llama 3.1 405B 在功能多样性、长文本处理能力和安全性方面都取得了显著进步,同时保持了卓越的性能表现,为用户提供了一个更强大、灵活且可靠的 AI 助手。
Llama 系统
Llama 模型在设计之初就不仅是一个独立的基础模型,而是一个能够整合多个组件的综合系统的核心部分。这个系统具备调用外部工具的能力,旨在为开发者提供一个更加灵活和强大的平台,让他们能够根据自己的需求创建定制化的产品。
为了推动 AI 在模型层之外的负责任发展,Meta 发布了一个完整的参考系统。这个系统包含多个示例应用,并引入新的组件,如:
- Llama Guard 3:多语言安全模型
- Prompt Guard:提示注入过滤器
这些示例应用都是开源的,社区成员可以在此基础上进行二次开发和创新。
Meta 还在 GitHub 上发起了一个关于「Llama Stack」的意见征求,Llama Stack 是一套标准化且具有明确设计理念的接口,用于构建:
- 标准工具链组件(如微调、合成数据生成等)
- 主体应用程序
以开放性驱动创新
与封闭模型不同,Llama 模型的权重可以在这里自由下载。这种开放性为开发者提供了巨大的灵活性:
- 自由定制:开发者可以根据自己的需求和应用场景定制模型。
- 新数据训练:可以对新数据集进行训练,拓展模型的知识面。
- 额外微调:针对特定任务进行精细调整,提升性能。
这种开放策略让全球开发者社区能够更深入地挖掘生成式 AI 的潜力。开发者可以为自己的应用进行全面定制,并在任何环境中运行模型,无论是本地、云端还是笔记本电脑,还无需向 Meta 提供数据。
有人认为封闭模型成本更低,但根据人工分析的测试,Llama 模型在业界提供了极具竞争力的每 Token 成本。正如马克·扎克伯格所强调的那样,开源模式能够:
- 让全球更多人享受 AI 带来的好处和机会
- 避免权力过度集中
- 促进技术在社会中更平衡、更安全的应用
目前,社区中已经有利用之前的 Llama 模型创造的项目,例如:
- AI 学习伙伴:已在 WhatsApp 和 Messenger 中部署。
- 医疗专用大语言模型:帮助指导临床决策。
- 巴西医疗非营利创业项目:帮助医疗系统安全管理和传达患者的住院信息。
这种开放共享的理念不仅推动了 AI 技术的快速发展,也让 AI 的福利能够更广泛地惠及全球各地的人们。
使用 Llama 3.1 405B
对于普通开发者来说,要驾驭 405B 这样的超大规模模型确实存在挑战。虽然它功能强大,但也需要大量计算资源和专业知识。为了让每个人都能充分发挥 405B 的潜力,Meta 团队更加关注以下几个方面:
- 实时和批量推理
- 监督式微调
- 针对特定应用的模型评估
- 持续预训练
- 检索增强生成(RAG)
- 函数调用
- 合成数据生成
好在 Llama 生态系统在这方面提供了强大支持。开发者可以:
- 立即使用 405B 模型的所有高级功能
- 快速开始项目开发
- 探索高级工作流程,如:
- 用户友好的合成数据生成
- 模型蒸馏的一站式解决方案
- 通过 AWS、NVIDIA 和 Databricks 等合作伙伴实现无缝 RAG
此外,Meta 的合作伙伴也提供了优化方案:
- Groq:为云部署优化了低延迟推理
- Dell:为本地部署实现了类似的优化
![Llama 合作伙伴解决方案](https://img.sysgeek.cn/img/2024/07/meta-llama-3-1-p7.jpeg)
为确保社区能够顺利进行生产部署,Meta 团队还与多个关键社区项目展开合作,从项目伊始就提供了 vLLM、TensorRT 和 PyTorch 支持。
立即体验 Llama 3.1 系列模型
Llama 3.1 系列模型凭借其多语言功能和扩展的上下文长度,为创造有益的新体验提供了巨大潜力。
Meta 承诺负责任地推进 AI 技术:
- Llama Stack:提供标准化接口,促进生态系统发展。
- 新安全工具:确保 AI 应用的安全性和可靠性。
- 严格的发布流程:在发布任何模型前,都会通过多种方式识别、评估并减轻潜在风险,包括:
- 红队演习:邀请内外部专家进行深入测试,检验模型强度,发现潜在的非预期用途。
- 安全微调:针对特定安全问题进行模型调整。
你可以看这篇博客文章,了解如何负责任地扩展 Llama 3.1 系列模型。
Llama 3.1 系列模型的开放不仅是技术的进步,更是对 AI 民主化的推动。通过开放合作,Meta 希望能够共同推动 AI 技术向着更加普惠、安全和创新的方向发展。
最新评论
手机微信里有个视频文件,想放到手机edge里,设了文件夹,不知道怎样放进去。
winehq-stable 确实从官方仓库中拿掉了,文章内容已经更新。
实际上就是没有,在原仓库里已经找不到stable版本了,只有devel和另一个s开头的版本
谢谢你分享的音乐软件