面壁智能开源大模型“理科状元”Eurux-8x22B,推理性能超 Llama3-70B,刷新开源大模型推理性能 SOTA
前言
近期面壁智能发布了一款领先的开源大模型"Eurux-8x22B"。与著名的Llama3-70B模型相比,Eurux-8x22B不仅发布时间更早,在综合性能上也相当,甚至在推理能力方面超越了Llama3-70B,可以说是当前开源大模型中的"理科状元"。
- Huggingface模型下载: huggingface.co/openbmb/Eur…
- AI 快站模型免费加速下载:aifasthub.com/models/open…
技术特点
Eurux-8x22B由Mixtral-8x22B经过面壁公司的 Ultra 对齐技术精心训练而来。其中关键的是面壁团队自主研发的大规模、高质量对齐数据集"UltraInteract"。UltraInteract 囊括了12个开源数据集,包含86K条指令和220K个偏好对,共计50万条左右的数据,大幅超过Llama3-70B所使用的千万级数据量。
Eurux-8x22B模型的其他技术亮点包括:
- 激活参数仅39B,但支持64k的长上下文,相比Llama3系列速度更快、可以处理更长的文本。
- 在代码生成、数学计算等复杂推理任务上全面超越Llama3-70B,刷新了开源大模型的性能SOTA。
性能表现
在一些具有挑战性的基准测试中,Eurux-8x22B的表现尤为出色:
- LeetCode测试:在一次LeetCode周赛中,Eurux-8x22B在Python编程能力方面的得分超越了80%的人类参赛选手,成功解决了4道算法题中的3道。
- TheoremQA测试:这个测试涵盖了大学水平的STEM知识问题,Eurux-8x22B的得分超过了GPT-3.5 Turbo等闭源模型。
此外,在复杂的数学题解答方面,Eurux-8x22B也展现出了强大的能力,无论是排列组合、代数还是函数题,都能给出清晰的解题思路并准确地给出结果。例如给它一道高中排列组合题,Eurux-8x22B 首先给出了清晰的解题思路,然后一步步地拆解执行,再进行结果汇总,最后得到正确答案。
应用场景
作为一个在复杂推理任务上表现出色的开源大模型,Eurux-8x22B可以在多个场景中发挥重要作用:
- 编程辅助:Eurux-8x22B可以帮助程序员提高编码效率,通过解决LeetCode等编程挑战题目来进行自我评估和提升。
- 数学问题求解:Eurux-8x22B强大的数学推理能力,可以在高考、大学等数学考试中发挥重要作用。
- 科研支持:Eurux-8x22B优秀的逻辑推理能力,可以为科研人员提供有价值的辅助支持。
总结
面壁智能的Eurux-8x22B开源大模型,在复杂的推理任务上展现出了卓越的性能,可以称之为当前开源大模型中的"理科状元"。其优异表现得益于面壁自主研发的大规模、高质量对齐数据集UltraInteract,以及面壁团队在大模型算法与基础设施方面的深厚积累。Eurux-8x22B的出色表现,必将为未来的开源AI应用带来更多可能性。
模型下载
Huggingface模型下载
AI快站模型免费加速下载
转载自:https://juejin.cn/post/7366439718710083618