本文作者:创意奇才

全球首个!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

创意奇才 06-19 979
全球首个!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T摘要: 香港娱乐圈中的模范夫妻郭晋安及欧倩怡于年结婚五一假期间日突然爆出二人离婚的消息他们均表示离婚的决定经过双方深思熟虑及沟通并且原来已分开生活两年亦感恩大家曾经为彼此付出过欧倩怡怕麻烦...

香港娱乐圈中的“模范夫妻”郭晋安及欧倩怡于2006年结婚,五一假期间(2日),突然爆出二人离婚的消息,他们均表示离婚的决定经过双方深思熟虑及沟通,并且原来已分开生活两年,亦感恩大家曾经为彼此付出过。欧倩怡怕麻烦不加名字郭晋安与欧倩怡曾出现过婚姻危机,冷战长达半年,濒临离婚边缘,但最后郭晋安透露...

快科技6月19日消息,据中国电信”官微发文,中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T,成为国内首批发布稠密万亿参数大模型的机构。

面对大模型训练过程中算力消耗巨大的挑战,TeleAI与智源通过深度研发,结合模型生长和损失预测等关键技术,成功推出了Tele-FLM系列模型。这一系列模型在算力资源的使用上,仅消耗了业界普通训练方案的9%,展现出极高的算力能效。

通过使用112台A800服务器,TeleAI团队在短短4个月内完成了3个模型总计2.3T tokens的训练,全程无需任何调整和重试,充分证明了模型训练的稳定性和收敛性。

值得一提的是,Tele-FLM-1T版本即将开源,此举旨在为社区提供训练万亿稠密模型的技术参考,有效解决万亿模型训练收敛难等问题,进一步推动大模型技术的进步。

全球首个!中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

TeleAI不仅在技术创新上不断突破,还积极通过开源方式推动大模型技术的普及和国产化进程。他们接连开源了7B、12B、52B参数规模的大模型,这些模型在开源社区中引发了广泛讨论和使用,开源模型*量已超过万次,吸引了超过40万用户

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

阅读
分享