国产开源MoE指标炸裂：GPT-4级别能力，API价格仅百分之一

摘要： 回想一下你在梦幻里最欧的时刻是什么呢是打副本出了附魔宝珠还是逛摊位买到了少零货今天阿斧要带大家看一位被欧皇附体的幸运玩家在人收藏的激烈竞争下他以元的价格成功中签购入一个级神木林角色...

回想一下，你在梦幻里最欧的时刻是什么呢？是打副本出了附魔宝珠？还是逛摊位买到了少零货？今天阿斧要带大家看一位被欧皇附体的幸运玩家，在2951人收藏的激烈竞争下，他以1600元的价格，成功中签购入一个172级神木林角色，并且角色中还附带了两只神兽，一件130级专用项链，和一把双加70的160级高属性武器。

声明:本文来自于微信公众号 量子位 （ID:QbitAI），作者:明敏 ，授权 转载发布。

最新国产开源大模型，刚刚亮相就火了。

DeepSeek-V2性能达级别，但开源、可*商用、价格仅为GPT-4-Turbo的百分之一。

因此一经发布，立马引发不小讨论。

从公布的性能指标来看，DeepSeek-V2的中文综合能力超越一众开源模型，并和GPT-4-Turbo、文心4.0等闭源模型同处第一梯队。

英文综合能力也和LLaMA3-70B同处第一梯队，并且超过了同是MoE的Mixtral8x22B。

在知识、数学、推理、编程等方面也表现出不错性能。并支持128K上下文。

这些能力，普通用户都能直接*使用。现在内测已开启，注册后立马就能体验。

API更是是骨折价:每百万tokens输入1元、输出2元（32K上下文）。价格仅为GPT-4-Turbo的近百分之一。

同时在模型架构也进行创新，采用了自研的MLA（Multi-head Latent Attention）和Sparse结构，可大幅减少模型计算量、推理显存。

网友感叹:DeepSeek总是给人带来惊喜!

具体效果如何，我们已抢先体验!

目前V2内测版可以体验通用对话和代码助手。

在通用对话中可以测试大模型的逻辑、知识、生成、数学等能力。

比如可以要求它模仿《甄嬛传》的文风写口红种草文案。

还可以通俗解释什么是量子纠缠。

数学方面，能回答高数微积分问题，比如:

使用微积分证明自然对数的底e 的无穷级数表示。

也能规避掉一些语言逻辑陷阱。

测试显示，DeepSeek-V2的知识内容更新到2023年。

代码方面，内测页面显示是使用DeepSeek-Coder-33B回答问题。

在生成较简单代码上，实测几次都没有出错。

也能针对给出的代码做出解释和分析。

不过测试中也有回答错误的情况。

如下逻辑题目，DeepSeek-V2在计算过程中，错误将一支蜡烛从两端同时点燃、燃烧完的时间，计算成了从一端点燃烧完的四分之一。

据*介绍，DeepSeek-V2以236B总参数、21B激活，大致达到70B~110B Dense的模型能力。

和此前的DeepSeek67B相比，它的性能更强，同时训练成本更低，可节省42.5%训练成本，减少93.3%的KV缓存，最大吞吐量提高到5.76倍。

*表示这意味着DeepSeek-V2消耗的显存（KV Cache）只有同级别Dense模型的1/5~1/100，每token成本大幅降低。

专门针对H800规格做了大量通讯优化，实际部署在8卡H800机器上，输入吞吐量超过每秒10万tokens，输出超过每秒5万tokens。

在一些基础Benchmark上，DeepSeek-V2基础模型表现如下:

DeepSeek-V2采用了创新的架构。

提出MLA（Multi-head Latent Attention）架构，大幅减少计算量和推理显存。

同时自研了Sparse结构，使其计算量进一步降低。

有人就表示，这些升级对于数据中心大型计算可能非常有帮助。

而且在API定价上，DeepSeek-V2几乎低于市面上所有明星大模型。

团队表示，DeepSeek-V2模型和论文也将完全开源。模型权重、技术报告都给出。

现在登录DeepSeek API开放平台，注册即赠送1000万输入/500万输出Tokens。普通试玩则完全*。

感兴趣的童鞋，可以来薅羊毛了~

体验地址:

https://chat.deepseek.com

API平台:

platform.deepseek.com

GitHub:

https://github.com/deepseek-ai/DeepSeek-V2?tab=readme-ov-file

—完—