MiniMax 稀宇科技发布万亿 MoE 模型abab 6.5

摘要： 成功复仇月日消息在年月日推出了这是一个万亿模型在还没有成为行业共识的情况下投入了大量精力研究并在今年月发布了国内首个基于架构的模型经过三个月的研发他们推出了更强大的模型系列包含两个...

EDG成功复仇PRX

4月17日 消息: 在2024年4月17日推出了 ，这是一个万亿 （Mixture of Experts）模型。在 MoE 还没有成为行业共识的情况下，MiniMax 投入了大量精力研究 MoE ，并在今年1月发布了国内首个基于 MoE 架构的 abab6模型。经过三个月的研发，他们推出了更强大的 abab6.5模型。

abab6.5系列包含两个模型:abab6.5和 abab6.5s。abab6.5拥有万亿参数，支持200k tokens 的上下文长度;而 abab6.5s 采用了相同的训练技术和数据，但更高效，支持200k tokens 的上下文长度，并且可以在1秒内处理近3万字的文本。

在各类核心能力测试中，abab6.5开始接近世界上最领先的大语言模型，如 GPT-4、Claude-3、Gemini-1.5等。

abab6.5和 abab6.5s 将会陆续更新到 MiniMax 旗下的产品中，包括生产力产品海螺 AI 和 MiniMax 开放平台。用户可以通过这些产品来体验这些先进的语言模型。