香港脉搏www.etnetchina.com.cn
 理财/管理【FOCUS】
打印logo打印本文章电邮logo字体:
分享:
螺丝壳里做道场,DeepSeek致胜启示
评论评论:点击率点击率:

发表时间 2025-01-28 14:42:24

   “算力出奇迹”VS“螺丝壳里做道场”,到底哪个技高一筹?AI股王英伟达周一(27日)市值蒸发5890亿美元,如对前者的当头棒喝,盛行多年的AI核心假设--资金多即是强、算力高即是好,遭奉行后者的DeepSeek彻底打破。


AI多年核心假设一朝打破


   Meta的扎克伯格上周抛出“2025年资本支出高达650亿美元”、“年底拥有130万颗GPU”的震撼弹,短短三天后,AI界的“大跃进”叙事即画风骤变,皆因跟OpenAI O1大模型分庭抗礼的DeepSeek-R1大模型,被揭训练成本低至560万美元,使用的英伟达GPU数量仅2048颗,且型号是上一代H800。


DeepSeek异军突起,拖累英伟达辉周一(27日)市值蒸发5890亿美元。


   OpenAI首席执行官Sam Altman周二最新表示,DeepSeek-R1大模型令人印象深刻,但坚称“现在比以往任何时刻,都需要更强的算力来完成使命。”


强化学习+混合专家架构


   面对有“AI界拼多多”之称的中国“黑马”公司,何解Sam Altman仍执着算力?答案指向其大模型训练路径。据OpenAI创始成员Andrej Karpathy解释,训练分为4个阶段:一,预训练(“投喂”大量文字并设定权重),建立基础LLM模型;二,监督微调(以少量高质量的资料提示完成特定任务),建立SFT模型;三,奖励模型(对回应进行打分并相应调整权重);强化学习(在奖励模型下不断调整以获得更高分数),最终获得RLHF(人类反馈强化学习)模型。


DeepSeek依赖大规模强化学习(RL)训练大模型,并将论文公开发表。


   DeepSeek则选择跳过监督微调,而依赖大规模强化学习(RL),而这种方法允许模型自行探索思维链(CoT),以直接获得更好表现。此外,DeepSeek采用MoE(混合专家)架构,即每个任务只激活相应的“专家(参数)”,意味显著减少计算时间和算力需求。


借分享突破边界吸引人才


   令人尤为惊讶的是,这两大“杀手锏”,DeepSeek都将相关研究论文--19页《通过强化学习激励大模型的推理能力》、33页《在MoE语言模型中迈向终极专家专业化》经Arxiv学术平台公开分享。


   如此“慷慨”的原因何在?据DeepSeek自己的回答:“在快速发展的AI领域,合作和开放式的思想交流对于快速创新至关重要”,“是否担心他人‘赶上’并非主要考量,相反,重点在于突破可能的边界,并分享这些进步,让所有人受惠”,“通过分享研究成果,DeepSeek也能建立自己的思想领袖地位,并吸引人才和合作伙伴,以进一步实现其目标。”


郑州连锁餐厅靠免费派发低成本的气球,做出了月租数万元广告牌没有的效果。


   相比之下,名为“开放”的OpenAI拒绝如DeepSeek一样开源,格局无疑小得多。联想河南郑州的一家连锁餐厅,面对每月仅700元的广告预算,靠免费派发每个成本仅几毫子的气球,做出了月租数万元广告牌没有的效果,所谓“螺蛳壳里做道场”,即是不信邪、不拘泥地灵活变通,终能出奇制胜。


   那么,Nvidia的神话有无结束?看看黄仁勋月初在“国际消费电子展CES 2025”上的展示,RTX 50 GPU、低价AI超级计算机Project Digits、人形机器人Cosmos……答案同样是否。


   撰文:金子安

分享:
返回【FOCUS】
上传图片
仅支持JPG、GIF、PNG图片文件,且文件小于5M
 
评论只代表会员个人观点,不代表经济通立场 
登录 后发表评论,立即 注册 加入会员。
 (点击用户名可以查看该用户所有评论)  查看全部评论:↑顺序 ↓倒序
  • 暂无读者评论!
评论只代表会员个人观点,不代表经济通观点
登录 后回复评论,立即 注册 加入会员。
发表评论 查看全部评论: ↑顺序  ↓倒序
  • 财金博客
  • 理财/管理
  • 健康人生

  • 时尚艺术
  • 吃喝玩乐
  • 全部
  • 财金博客
  • 理财/管理
  • 健康人生

  • 时尚艺术
  • 吃喝玩乐
  • 全部
more on Column 
新  一个月内新增栏目