查看原文
其他

阿里云发布全球最强开源LLM“Qwen2”:性能超越众多闭源模型、火速登顶HuggingFace

通义千问最新开源LLM——比中国闭源模型们更强的开源模型来了!

6月7日凌晨,阿里云更新技术博客:重磅发布全球性能最强的开源模型——Qwen2-72B,据称性能超过美国最强的开源模型Llama3-70B,也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。
所有人均可在魔搭社区和Hugging Face免费下载通义千问最新开源模型。
Qwen2 刚发布就已登顶 HuggingFace Open LLM 榜首:

Qwen2 亮点省流总结:

- 5个尺寸的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B;

- 在中文英语的基础上,训练数据中增加了27种语言相关的高质量数据;

- 多个评测基准上的领先表现;

- 代码和数学能力显著提升;

- 增大了上下文长度支持,最高达到128K tokens(Qwen2-72B-Instruct)。

相比2月推出的通义千问Qwen1.5,Qwen2实现了整体性能的代际飞跃。
在权威模型测评榜单OpenCompass中,此前开源的Qwen1.5-110B已领先于文心4.0等一众中国闭源模型。刚刚开源的Qwen2-72B,整体性能相比Qwen1.5-110B又取得了大幅提升。
通义千问Qwen2系列模型大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。

在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等国际权威测评中,Qwen2-72B一举斩获十几项世界冠军,超过美国的Llama3。
通义千问团队在技术博客中披露,Qwen2系列包含5个尺寸的预训练和指令微调模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,其中Qwen2-57B-A14B为混合专家模型(MoE)。
Qwen2所有尺寸模型都使用了GQA(分组查询注意力)机制,以便让用户体验到GQA带来的推理加速和显存占用降低的优势。

在中英文之外,模型训练数据中增加了27种语言相关的高质量数据,提升了模型的多语言能力。Qwen2还增大了上下文长度支持,Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。



Reference

https://qwenlm.github.io/zh/blog/qwen2/
https://modelscope.cn/models/qwen/Qwen2-72B/
https://modelscope.cn/models/qwen/Qwen2-72B-Instruct/summary

END


热门文章

中国 Python 开源项目作者被诺贝尔奖得主邀请会面

“鸭子数据库”正式发布1.0稳定版:C++引擎代码超30万行

斯坦福AI团队抄袭中国开源大模型

刚被微软砍掉的WSA“整活”了——腾讯接盘、还穿上了马甲「AOW」

中国软件行业几乎全军覆没


继续滑动看下一个
OSC开源社区
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存