系统之家装机大师 7 月 8 日最新消息,英伟达研究团队正式发布 Nemotron-Labs-Audex-30B-A3B(简称 Audex)统一音频 - 文本大模型。核心突破在于:在新增音频输入输出全链路能力的同时,主干文本模型的基准性能几乎无衰减。
该模型骨干为文本模型 Nemotron-Cascade-2-30B-A3B,后者为 52 层混合 Mamba-Transformer 结构,包含 128 个可路由专家、每次激活 6 个专家。
该模型的设计目标是避免多模态扩展后文本能力下滑问题。论文显示,Audex 将音频输入编码后映射到文本嵌入空间,并把量化后的音频输出标记与文本标记统一处理。
在音频组件上,Audex 使用 AF-Whisper(音频编码器)处理 16kHz 输入,配合两层 MLP 适配器映射特征,输出词表从原始 131072 个 Token 扩展至 205312 个 Tokens。
语音输出采用 X-Codec2(语音编解码器),速率为每秒 50 个标记,使用单层 finite scalar quantization(有限标量量化),码本大小为 65536。非语音音频采用 X-Codec(音频编解码器),速率为每秒 200 个标记,使用 4 层展平残差向量量化。
文本评测方面,Audex 在 MMLU-Redux 上得分 86.4,高于骨干模型的 86.3;在 IMO AnswerBench 上为 81.1,高于骨干的 79.3,但在 MMLU-Pro 与 GPQA-Diamond 上出现小幅下降。
系统推荐
1. 拥有超强的性能,专为“干重活”的专业用户设计(例如 CAD、动画、媒体制作者、图形设计团队等等),推荐你下载:Windows11 25H2 专业工作站版(前往下载)
2. 真正纯净的 Windows11 专业版系统,安装完成以后不捆绑软件,系统占用小。推荐你下载:Windows11 25H2 纯净专业版系统(前往下载)
3. 拥有五年超长生命周期支持的养老版,不频繁更新补丁,适合对稳定性要求高的企业用户。推荐你下载:Win11 24H2 LTSC 2024 企业版(前往下载)
4. 支持远程桌面主机、组策略管理等高级功能,适合对安全性、管理性和专业性有更高需求的用户。推荐你下载:Windows 11 25H2 专业版(前往下载)
以上是系统之家装机大师提供的最新资讯,感谢您的阅读,更多精彩内容请关注系统之家装机大师官网。