与清华合作，支持22种中文方言的语音大模型来了！

APP下载

扫一扫

下载观察者APP

与清华合作，支持22种中文方言的语音大模型来了！
- 张睿佳
分享到：

2025-04-02 20:06:31 字号：A- A A+ 来源：观察者网

3月26日，一篇名为Dolphin —— 一款专为东方语言设计的语音大模型（Dolphin: A Large-Scale Automatic Speech Recognition Model for Eastern Languages）的论文在arXiv （康奈尔大学图书馆运营的一个开放获取的预印本平台）上发表。

目前，Dolphin 的base与small版模型与推理代码已经全面开源。

据悉，该项目来自海天瑞声和清华大学电子工程系语音与音频技术实验室的合作，两者共同推出了支持40个东方语种，以及22种中文方言（含普通话）的语音识别系统。

在数据方面，该系统的训练数据总时长21.2万小时，其中海天瑞声高质量专有数据13.8万小时，开源数据7.4万小时。

性能层面，通过与OpenAI推出的Whisper在同等尺寸模型的比较，根据参考三个多语言数据集（海天瑞声、Fleurs、CommonVoice）的平均值得出：

Dolphin base版模型的WER（词错率）为 31.8%，而 Whisper large-v3 版模型的词错率为 52.3%。从这个角度看，尽管dolphin基础版模型的规模不到 Whisper large-v3 版模型的十分之一，但在针对这些语言进行评估时，其词错率与 Whisper large-v3 模型相比相对降低了 39%，这凸显了dolphin的性能优势。

具体技术上，Dolphin网络结构基于CTC-Attention架构，E-Branchformer编码器和Transformer解码器，并引入了4倍下采样层。

CTC-Attention架构能够提升模型的识别准确性和效率；Branchformer编码器采用并行分支结构，能够更有效地捕捉输入语音信号的局部和全局依赖关系，为模型提供了更丰富的特征表示；Transformer解码器确保系统能够提供高质量的文本输出；4倍下采样层可以减少输入特征的序列长度，从而加速计算过程，同时保留关键的语音信息，确保模型的识别效果不受影响。

此外，Dolphin还引入了两级语种标签系统，第一个标签指定语种（例如、），第二个标签指定地区（例如、）。

这种分层方法使模型能够捕捉同一种语言内不同方言和口音之间的差异，以及同一地区内不同语言之间的相似性，从而提高了模型区分密切相关的方言的能力，并通过在语言和地区之间建立联系增强泛化能力。

海天瑞声表示，通过共享技术成果，希望能够吸引更多的开发者和研究机构参与到东方语言语音识别的研究中来，共同推动技术进步。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签 Dolphin 东方语言语音大模型
- 责任编辑: 张睿佳
- 业绩狂飙的老铺黄金，股价却即将承压？
  
  2025-04-02 20:03 观网财经-消费
- AI拐点到来，大厂集体抢人
  
  2025-04-02 19:49 观网财经-互联网
- 个人电脑就能运行，更便宜的Agent要来了
  
  2025-04-02 18:18
- 完成”瘦身”后，美的置业保留业务营收、利润双双增长
  
  2025-04-02 18:12 观网财经-房产
- 腾讯会议“崩了”？官方回应
  
  2025-04-02 17:47 观网财经-互联网
- 售价超7000元，Meta想用眼镜取代iPhone
  
  2025-04-02 17:16 观网财经-科创
- 京东工业，再度冲刺港股IPO
  
  2025-04-02 17:04 观网财经-互联网
- 内地行业龙头排队融资，香港IPO募资额反超印度
  
  2025-04-02 16:30 观网财经-科创
- 时隔50个交易日，A股两市成交额再度跌破1万亿
  
  2025-04-02 15:24 观网财经-科创
- 全球VR市场三连跌，苹果Vision Pro单季出货暴跌43%
  
  2025-04-02 13:56 观网财经-科创
- 三星折叠机出货暴跌33%，中国品牌集体大增，苹果明年入局？
  
  2025-04-02 13:39 观网财经-科创
- 京东官宣：达达员工逐步升至20薪
  
  2025-04-02 13:35 观网财经-互联网
- 豫园股份2024年报透视：轻资产转型撬动市值潜力，文化出海锚定长期价值
  
  2025-04-02 13:10
- 阿里收购两氢一氧，无招回归钉钉
  
  2025-04-02 11:19 观网财经-互联网
- 乘“AI东风”，良信股份欲掘金智算中心配电蓝海
  
  2025-04-02 10:14 观网财经-科创
- 智能早报丨雷军回应SU7事故；宇树再发新产品；苹果遭11亿巨额罚单
  
  2025-04-02 08:41 产业万象
- 中国成2024年欧盟汽车进口最大来源国
  
  2025-04-02 08:19
- 日赚十亿的全球店王SKP或将易主
  
  2025-04-01 20:29 观网财经-消费
- 茶咖日报｜澜沧古茶今起停牌；钟睒睒为云南茶叶发声
  
  2025-04-01 20:02 观网财经-消费
- 美团推出全新会员体系，黑钻会员人均年省万元
  
  2025-04-01 19:59 观网财经-互联网
搜索

   观察者头条查看全部

“中国对美反制，巴西看到了机会” 评论 30

“众叛亲离！要是再发生911，谁还同情美国人？” 评论 206

她对美放狠话，还提到欧盟的“实力地位” 评论 269

美媒竟来碰瓷：解放军这次演训，“是在考验美国决心” 评论 194

围岛集结、多向抵近！现场视频来了评论 179

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

与清华合作，支持22种中文方言的语音大模型来了！

业绩狂飙的老铺黄金，股价却即将承压？

AI拐点到来，大厂集体抢人

个人电脑就能运行，更便宜的Agent要来了

完成”瘦身”后，美的置业保留业务营收、利润双双增长

腾讯会议“崩了”？官方回应

售价超7000元，Meta想用眼镜取代iPhone

京东工业，再度冲刺港股IPO

内地行业龙头排队融资，香港IPO募资额反超印度

时隔50个交易日，A股两市成交额再度跌破1万亿

全球VR市场三连跌，苹果Vision Pro单季出货暴跌43%

三星折叠机出货暴跌33%，中国品牌集体大增，苹果明年入局？

京东官宣：达达员工逐步升至20薪

豫园股份2024年报透视：轻资产转型撬动市值潜力，文化出海锚定长期价值

阿里收购两氢一氧，无招回归钉钉

乘“AI东风”，良信股份欲掘金智算中心配电蓝海

智能早报丨雷军回应SU7事故；宇树再发新产品；苹果遭11亿巨额罚单

中国成2024年欧盟汽车进口最大来源国

日赚十亿的全球店王SKP或将易主

茶咖日报｜澜沧古茶今起停牌；钟睒睒为云南茶叶发声

美团推出全新会员体系，黑钻会员人均年省万元

“中国对美反制，巴西看到了机会”

共和党人也不满关税，“长期来看，我们都会死”

韩网民强扯“中国间谍”喊美军介入，驻韩美军急了

美国航运巨头发话：我们有很多中国船，这钱得美国人掏

马斯克狂撒2500万，这场“会改变西方文明进程”的选举还是输了

俄高官有望冲突后首次访美，“美方暂时解除制裁”

美防长称日本是“前线”，日媒急了

美国两党拿出对俄制裁草案：征500%二级关税

“众叛亲离！要是再发生911，谁还同情美国人？”

特朗普明天将在白宫开会，讨论TikTok命运

“白宫正研究：丹麦给格陵兰6亿，我们加价”

美国司法部要求判他死刑：让美国再次安全

她对美放狠话，还提到欧盟的“实力地位”

“欧美关系搞砸了，欧盟准备以自己的方式应对中国 ”

周一鸣接棒港警“一哥”

他演讲超25小时，狂喷特朗普马斯克