股吧首页 > 华宝海外科技股票(QDII-LO...吧 > 正文
  • 最近访问：
返回华宝海外科技股票(QDII-LOF)A吧>>
发表于 2025-02-06 19:32:00 东方财富Android版 发布于 河南
完了，被学走了，gemini2.0甚至是免费的，蒸馏成本比chatgpt更低

$海外科技LOF(SH501312)$  

完了，被学走了，gemini2.0甚至是免费的，蒸馏成本比chatgpt更低

郑重声明：用户在社区发表的所有信息将由本网站记录保存，仅代表作者个人观点，与本网站立场无关，不对您构成任何投资建议，据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容，远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息，谨防上当受骗！
举报本回复
活到70领退休金 作者
发表于 2025-02-06 19:35:24 发布于 河南
看来大模型赛道要凉了，劣币驱逐良币，以后没人再敢投入资金训练了
举报本回复
MO_GU
发表于 2025-02-06 19:45:53 发布于 北京
活到70领退休金 作者 :
看来大模型赛道要凉了，劣币驱逐良币，以后没人再敢投入资金训练了
不会的，文本弄完还要搞图片视频音频这些多模态大模型，这一块儿的技术现在还非常不成熟，再往后让多模态大模型落地到具身智能成为机器人大脑也是更长远的目标，还能花钱的地方可不少
举报本回复
活到70领退休金 作者
发表于 2025-02-06 19:55:12 发布于 河南
MO_GU :
不会的，文本弄完还要搞图片视频音频这些多模态大模型，这一块儿的技术现在还非常不成熟，再往后让多模态大模型落地到具身智能成为机器人大脑也是更长远的目标，还能花钱的地方可不少
问题是你敢弄别人就敢蒸啊，以前是摸着石头过河，现在成摸着前面的人过河了，三个和尚没水吃，这谁还敢当排头
举报本回复
股友c65l303692
发表于 2025-02-06 20:00:47 发布于 辽宁
Ds也不好用啊，人工智能最终的应用场景是生活还是战争？
举报本回复
活到70领退休金 作者
发表于 2025-02-06 20:05:05 发布于 河南
股友c65l303692 :
Ds也不好用啊，人工智能最终的应用场景是生活还是战争？
好不好用不重要，问题是这么一整之后真没人敢继续弄大模型了，你花几十亿，我花几百万，他花几十刀，谁还敢当冤大头
举报本回复
活到70领退休金 作者
发表于 2025-02-06 20:05:39 发布于 河南
股友c65l303692 :
Ds也不好用啊，人工智能最终的应用场景是生活还是战争？
说来你要是有梯子的话，可以试试deepgame，玩的我都上头了
举报本回复
MO_GU
发表于 2025-02-06 20:09:34 发布于 北京
活到70领退休金 作者 :
问题是你敢弄别人就敢蒸啊，以前是摸着石头过河，现在成摸着前面的人过河了，三个和尚没水吃，这谁还敢当排头
蒸馏出来的东西泛用性完全被原版限制住了，没有技术积累的话想要应用在新场景只靠蒸是蒸不出来的，想要抢占市场还是得有自己的技术；另外chatgpt去年的论文let's verify step by step直接让好多组走了一年的错误路线，全跑去监督cot过程来尝试复现O1，结果最后被deepseek弄明白是用的RL，所以deepseek有没有藏一手也是不好说的。
举报本回复
活到70领退休金 作者
发表于 2025-02-06 20:16:46 发布于 河南
MO_GU :
蒸馏出来的东西泛用性完全被原版限制住了，没有技术积累的话想要应用在新场景只靠蒸是蒸不出来的，想要抢占市场还是得有自己的技术；另外chatgpt去年的论文let's verify step by step直接让好多组走了一年的错误路线，全跑去监督cot过程来尝试复现O1，结...
问题是蒸馏确实快，微调成本低太多了，你可以看看s1的论文，他们只用了1000个数据（包括问题，逻辑链个答案）就完成了训练
举报本回复
MO_GU
发表于 2025-02-06 20:21:37 发布于 北京
活到70领退休金 作者 :
问题是蒸馏确实快，微调成本低太多了，你可以看看s1的论文，他们只用了1000个数据（包括问题，逻辑链个答案）就完成了训练
是的，成本优势确实大，不过他们应该是专门针对benchmark在蒸，单看跑分也许接近，如果实用的话我感觉1000个数据很难把COT逻辑外推到各种场景下
举报本回复
为啥不让改名啊
发表于 2025-02-06 20:27:15 发布于 天津
活到70领退休金 作者 :
看来大模型赛道要凉了，劣币驱逐良币，以后没人再敢投入资金训练了
短期再利空，长期也是需要硬件发展的
举报本回复
活到70领退休金 作者
发表于 2025-02-06 20:28:34 发布于 河南
MO_GU :
是的，成本优势确实大，不过他们应该是专门针对benchmark在蒸，单看跑分也许接近，如果实用的话我感觉1000个数据很难把COT逻辑外推到各种场景下
你看看论文吧，这篇论文我感觉最有价值的就是消融实验那部分了
举报本回复
活到70领退休金 作者
发表于 2025-02-06 20:29:16 发布于 河南
为啥不让改名啊 :
短期再利空，长期也是需要硬件发展的
硬件可能会发展，但是大模型怕是要凉了
举报本回复
MO_GU
发表于 2025-02-06 20:36:30 发布于 北京
活到70领退休金 作者 :
你看看论文吧，这篇论文我感觉最有价值的就是消融实验那部分了
我去看了下ablation，他那个s1K就是专门配比出来的一个训练集，比那个59K的跑分还高，只能说这个蒸馏效果还是很依赖对训练数据的挑选，他虽然claim是考虑了各种难度和多样性，但我还是感觉这个训练集的配比会比较接近benchmark
举报本回复
活到70领退休金 作者
发表于 2025-02-06 20:40:20 发布于 河南
MO_GU :
我去看了下ablation，他那个s1K就是专门配比出来的一个训练集，比那个59K的跑分还高，只能说这个蒸馏效果还是很依赖对训练数据的挑选，他虽然claim是考虑了各种难度和多样性，但我还是感觉这个训练集的配比会比较接近benchmark
但是他也说明了1k有跑出质量的可能啊，20多分钟，50刀，主打一个离谱，合着成本全让谷歌出了
举报本回复
为啥不让改名啊
发表于 2025-02-06 20:40:34 发布于 天津
活到70领退休金 作者 :
硬件可能会发展，但是大模型怕是要凉了
没事，我用99战法为赌注，凉不了
举报本回复
MO_GU
发表于 2025-02-06 20:48:12 发布于 北京
活到70领退休金 作者 :
但是他也说明了1k有跑出质量的可能啊，20多分钟，50刀，主打一个离谱，合着成本全让谷歌出了
潜力确实是有的，但是他论文展示的东西还是人力换算力，人工精心构造训练集的成本很难去评判，我感觉这个消融实验应该折腾坏了不少实习生假如后续有办法把挑数据的过程也让模型自己做了应该有前景，但是这就又成一个壁垒了
举报本回复
LR_99
发表于 2025-02-06 20:50:15 发布于 湖北
为啥不让改名啊 :
没事，我用99战法为赌注，凉不了
关我什么事啊
举报本回复
活到70领退休金 作者
发表于 2025-02-06 21:02:00 发布于 河南
MO_GU :
潜力确实是有的，但是他论文展示的东西还是人力换算力，人工精心构造训练集的成本很难去评判，我感觉这个消融实验应该折腾坏了不少实习生假如后续有办法把挑数据的过程也让模型自己做了应该有前景，但是这就又成一个壁垒了
自己做不可能啊，否则左脚踩右脚上天了，但是公共数据集一旦提出来，后面训练速度就质变了，尤其如果可以确认数据和模型质量之间的关系
举报本回复
MO_GU
发表于 2025-02-06 21:10:49 发布于 北京
活到70领退休金 作者 :
自己做不可能啊，否则左脚踩右脚上天了，但是公共数据集一旦提出来，后面训练速度就质变了，尤其如果可以确认数据和模型质量之间的关系
不是指让他自己挑，是说再训一个什么其他模型（比如用RL）把这个过程自动化了，当然这是很理想化的东西肯定没那么容易实现，而他们这个工作目前给我的感觉就是，从曾经的RLHF，到deepseek通过RL减少human feedback，再到现在又变成需要human feedback来精心挑数据了，历史总是在反复地轮回
举报本回复
为啥不让改名啊
发表于 2025-02-06 21:19:11 发布于 天津
LR_99 :
关我什么事啊
怎么这都被你看见了，你没事干吗一直视奸这里！
举报本回复
LR_99
发表于 2025-02-06 21:19:45 发布于 湖北
为啥不让改名啊 :
怎么这都被你看见了，你没事干吗一直视奸这里！
我感觉有人在说我的坏话
举报本回复
为啥不让改名啊
发表于 2025-02-06 21:20:32 发布于 天津
LR_99 :
我感觉有人在说我的坏话
秒回是吧，那你必涨停
举报本回复
LR_99
发表于 2025-02-06 21:22:58 发布于 湖北
为啥不让改名啊 :
秒回是吧，那你必涨停
我持仓4个票才持仓400股
评论该主题
帖子不见了！怎么办？
作者：您目前是匿名发表   登录 | 5秒注册 作者：，欢迎留言 退出发表新主题
实名认证 ，即可获得价值100元大礼包！  
温馨提示： 1.根据《证券法》规定，禁止编造、传播虚假信息或者误导性信息，扰乱证券市场；2.用户在本社区发表的所有资料、言论等仅代表个人观点，与本网站立场无关，不对您构成任何投资建议。用户应基于自己的独立判断，自行决定证券投资并承担相应风险。《东方财富社区管理规定》
东方财富

扫一扫下载APP
东方财富产品
证券交易
关注东方财富
天天基金

扫一扫下载APP
基金交易
关注天天基金
东方财富期货

扫一扫下载APP
期货交易
信息网络传播视听节目许可证：0908328号 经营证券期货业务许可证编号：913101046312860336 违法和不良信息举报:021-61278686 举报邮箱：https://1458esb.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500
关于我们 可持续发展 广告服务 联系我们 诚聘英才 法律声明 隐私保护 征稿启事 友情链接