腾讯混元文生图大模型宣布开源，未来还将跟QQ、企微和游戏做联动

APP下载

扫一扫

下载观察者APP

腾讯混元文生图大模型宣布开源，未来还将跟QQ、企微和游戏做联动
- 周毅是故意的还是不小心？
分享到：

2024-05-15 19:52:16 字号：A- A A+ 来源：观察者网

文/观察者网周毅编辑张广凯

5月14日，腾讯宣布旗下混元文生图大模型全面升级并对外开源。据悉，这是业内首个中文原生的DiT架构文生图开源模型。它支持中英文双语输入及理解，参数量15亿。目前，该大模型已在Hugging Face平台和Github上发布，包含模型权重、推理代码、模型算法等完整模型，可供企业与个人开发者免费商用。

不同模型在图文一致性等方面的表现图源Hugging Face

腾讯混元文生图负责人芦清林对观察者网表示，提升技术能力和更广泛的应用，是该大模型未来的两个方向。

“从技术能力的提升来说，如何让图片生成的速度更快，生成的质量更好，是我们永远都会追求的一个技术方向，它似乎是没有止境的。”芦清林表示，项目团队也希望该大模型，能在腾讯内外更广泛的业务场景应用起来。事实上，从去年开始，腾讯混元文生图就和腾讯的广告业务进行了一些协作。

“今年会跟社交业务，包括QQ、企业微信等很多业务场景做联动。跟他们合作做一些新的技术能力。”芦清林透露，同时，该大模型也会跟腾讯游戏做一些深入的技术合作，希望能够在美术场景中应用起来。包括QQ音乐等在内，也都是该大模型未来将会提供支撑的业务场景。

大模型的优异表现，往往离不开先进的技术架构。过去，视觉生成扩散模型主要基于U-Net架构，但随着参数量的提升，基于Transformer架构的扩散模型展现出了更好的扩展性，有助于进一步提升模型的生成质量及效率。升级后的腾讯混元文生图大模型采用了全新的DiT架构（即Diffusion With Transformer），这也是Sora和Stable Diffusion 3的同款架构和关键技术，它就是一种基于Transformer架构的扩散模型。

公开资料显示，在DiT架构的基础之上，腾讯混元文生图大模型还在算法层面优化了模型的长文本理解能力，能够支持最多256字符的内容输入，同时赋予其多轮生图和对话能力：在一张初始生成图片的基础上，用户通过自然语言描述，即可对其进行调整。

用户通过“对话”，即可调整文生图的具体内容测试截图

此外，“中文原生”也是腾讯混元文生图大模型的一大亮点，此前，像Stable Diffusion等主流开源模型核心数据集以英文为主，对中国的语言、美食、文化、习俗理解有限。作为首个中文原生的DiT模型，混元文生图具备中英文双语理解及生成能力，在古诗词、俚语、传统建筑、中华美食等中国元素的生成上表现出色。

混元文生图大模型的部分能力展示图源Hugging Face
本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签大模型 AI大模型
- 责任编辑: 周毅
- 搭载英特尔处理器，华为再推AI PC等10余款新品
  
  2024-05-15 18:50 观网财经-科创
- “比行业便宜99.3%”，字节打响大模型价格战
  
  2024-05-15 18:06 观网财经-科创
- GMV两位数增长，淘宝天猫真的在回归用户了
  
  2024-05-15 17:59 观网财经-互联网
- 杭州市临安区：收购一批商品住房用作公共租赁住房
  
  2024-05-15 16:19 观网财经-房产
- 美国征收关税翻倍，多家光伏头部企业：基本没有影响
  
  2024-05-15 13:31 观网财经-消费
- 成都高投集团收购鼎桥通信
  
  2024-05-15 08:57 华为
- 深圳建筑设计新要求：减少公摊面积
  
  2024-05-14 19:17 观网财经-房产
- 腾讯公布2024一季报：利润大涨62%，视频号用户时长增长超80%
  
  2024-05-14 18:16 观网财经-互联网
- 手机巨头激烈混战，vivo再推6nm芯片加码影像
  
  2024-05-14 14:49 观网财经-科创
- 碧桂园杨惠妍：房地产行业一定会迎来春天
  
  2024-05-13 21:31 观网财经-房产
- “鲇鱼”来袭！特斯拉上海储能超级工厂获开工许可
  
  2024-05-13 16:07 观网ESG
- 女子收到7年前1414元滴滴账单，滴滴致歉
  
  2024-05-12 23:01 观网财经-互联网
- 创始人称创维汽车能治病延寿？官方回应：断章取义
  
  2024-05-11 16:55 观网财经-汽车
- 最快本月申请？Shein或选择伦敦上市
  
  2024-05-11 11:40 观网财经-海外
- Visa难以进入中国市场，是因为中国的“科技民族主义”吗？
  
  2024-05-11 08:02
- 中芯国际净利大跌68%，但当务之急并非利润
  
  2024-05-10 22:30 观网财经-科创
- 连平：释放购房需求，接下来应从供给端入手
  
  2024-05-10 21:52 观网财经-房产
- 汇率跌至历史新低，谁背刺了越南？
  
  2024-05-10 21:38
- 璩静风波后，百度资深副总裁高调谈论“大厂病”
  
  2024-05-10 16:25 观网财经-互联网
- “百度大厂病问题，管理层也急”
  
  2024-05-10 15:39 观网财经-互联网
搜索

   观察者头条查看全部

尴尬！“特朗普上回庆百日的美国工厂，已迁至中国” 评论 7

美码头工人集体声讨：这是对工人阶级的经济战争！评论 72

“短短100天，特朗普就把美国推向危机边缘” 评论 83

美国工人造手机？“做大头梦，最小螺丝都是中国造…” 评论 130

0人付款！美国人买美国货还是中国货？结果扎心了… 评论 271

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

腾讯混元文生图大模型宣布开源，未来还将跟QQ、企微和游戏做联动

搭载英特尔处理器，华为再推AI PC等10余款新品

“比行业便宜99.3%”，字节打响大模型价格战

GMV两位数增长，淘宝天猫真的在回归用户了

杭州市临安区：收购一批商品住房用作公共租赁住房

美国征收关税翻倍，多家光伏头部企业：基本没有影响

成都高投集团收购鼎桥通信

深圳建筑设计新要求：减少公摊面积

腾讯公布2024一季报：利润大涨62%，视频号用户时长增长超80%

手机巨头激烈混战，vivo再推6nm芯片加码影像

碧桂园杨惠妍：房地产行业一定会迎来春天

“鲇鱼”来袭！特斯拉上海储能超级工厂获开工许可

女子收到7年前1414元滴滴账单，滴滴致歉

创始人称创维汽车能治病延寿？官方回应：断章取义

最快本月申请？Shein或选择伦敦上市

Visa难以进入中国市场，是因为中国的“科技民族主义”吗？

中芯国际净利大跌68%，但当务之急并非利润

连平：释放购房需求，接下来应从供给端入手

汇率跌至历史新低，谁背刺了越南？

璩静风波后，百度资深副总裁高调谈论“大厂病”

“百度大厂病问题，管理层也急”

尴尬！“特朗普上回庆百日的美国工厂，已迁至中国”

美码头工人集体声讨：这是对工人阶级的经济战争！

“特朗普关税反倒加强了中国决心，危机正化为机遇”

“我们无法在美生产任何产品，销美商品将涨价”

“我们努力实现100%美国制造，但连个轴承都买不到”

“短短100天，特朗普就把美国推向危机边缘”

微软总裁着急：这项竞争不能落后中国，美国输不起！

美国工人造手机？“做大头梦，最小螺丝都是中国造…”

中方直说了，美农彻底崩溃

“中国发货吧，关税美国人自己出”

卡尼宣布胜选：对美国，决不“跪”

董袭莹本科相当于国内三本？“什么是协和4+4”冲上热搜

0人付款！美国人买美国货还是中国货？结果扎心了…

中国取得EUV技术重要突破，阿斯麦CEO还在嘴硬？

美学者出新书《日本大屠杀》，日本右翼坐不住了

清华“挖”来美国顶尖AI学者