【资料图】
字节跳动Seed团队近日召开全员大会,张一鸣在会上做出了一次少见的公开表态——公司不会把模型蒸馏当作提升AI能力的捷径,宁愿牺牲短期收益,也要坚持长期技术路线。
这番话的背景并不轻松。字节跳动是国内头部AI公司中,唯一一家大语言模型几乎全部采用自研专有模型的厂商。然而,这种"全自研"策略也让字节在模型迭代速度上承受了不小的压力。业内普遍认为,字节的大语言模型之所以在部分场景下落后于竞争对手,恰恰与它拒绝使用蒸馏技术有关。
所谓蒸馏,是一种让新模型直接学习前沿模型推理步骤的训练方法,能够大幅节省训练时间和算力开销。在国内竞品纷纷借助开源模型快速迭代的当下,蒸馏几乎成了行业标配。字节内部关于"要不要转向蒸馏"的争论也由来已久——一方认为应拥抱行业趋势,用蒸馏加速追赶;另一方则坚持自研路线,认为长期来看,专有模型才能构筑真正的技术壁垒。
张一鸣此次的表态,等于给这场内部争论画上了句号:不走捷径。
这个选择背后的逻辑不难理解。蒸馏虽然高效,但本质上是在别人的模型能力上做"搬运",长期依赖可能削弱自身的底层创新能力。而字节跳动选择全自研,意味着它押注的是更远的未来——用更慢的速度、更高的成本,换取对核心技术的完全掌控。
当然,代价也是真实的。在开源模型日新月异、竞争对手快速追赶的格局下,"慢一步"可能意味着市场份额和用户心智的流失。字节能否扛住这个压力,用时间换空间,最终让自研路线跑赢蒸馏的"快车道",将是接下来最值得关注的看点。
一句话概括:张一鸣用一次罕见表态,把字节跳动的AI战略从"能不能快"拉回到了"该不该快"的根本问题上。
标签: 字节 捷径 路线 全自研 训练方法 宁舍
民营企业改制中的隐形债务问题 面对隐形债务问题应该如何解决?
民营企业改制中的隐形债务问题隐形债务或称潜在债务,一般在改制的当时没有在改制企业财务资料中体现出来,或者说当时尚未预见到的随着后续
1、个人交的社保在你个人的帐户里存着的,是可以取出来的,单位交的社保在统筹基金里面,这个是不能取出来的,等你退休的时候会用到的。首
信用卡欠款影响公积金贷款吗信用卡没还完公积金贷款还是可以申请的,信用卡不是贷款,有钱没有还完并不影响申请公积金贷款。但是持卡人用卡
信用卡逾期了公积金还能提吗1、信用卡逾期了可以提取公积金,因为这二者不冲突,影响不大。要想提取公积金,必须满足其条件,职工所在单位
信用卡欠款20万还不起了怎么办1、辨别是否是正规平台。先看年利率超过银行同类贷款利率的四倍,如果超过了银行同类贷款利率的四倍,就属于
买房怎样提取公积金里的钱(一)买房后提取公积金应该向银行提出书面借款申请并提交身份证原件复印件、住房公积金提取申请表、房屋所有权证
国家晚婚假是取消了吗1、国家晚婚假取消了这一说法。根据相关固定,职工本人结婚时,可以根据具体情况,由本单位行政领导批准,酌情给予一
Copyright 2015-2022 法律专家网版权所有 京ICP备2022018928号-42联系邮箱:315 541 185 @ qq.com