字节跳动公布大语言模型 chatbot 豆包达到chtgpt4的水平，训练成本只要6百万。难怪MSFT放弃OpenAi

来源: whaled 于 2025-01-23 18:33:40 [] [旧帖] [给我悄悄话] 阅读数 : (226 bytes)
本帖于 2025-01-23 18:55:01 时间, 由普通用户 whaled 编辑

https://youtu.be/MozJ43LMR6I?si=-8mjn8HJG9vpF2vE

看来也不需要那么多的核电站和上千亿的投资也可以做高质量的LLM和AI。

所有跟帖： 

• 那个只是训练成本，只是一次性的，不是训练好后deploy运作的成本。AI数据中心主要是deploy后运作的算力。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 01/23/2025 postreply 18:36:25

• 实在忍不住。你懂你自己mumbling bumbling的东西么？ -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:42:09

• 她连啥叫checkpoint 和 inference都不懂，就知道嚷嚷data center, power plant -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:03:09

• 先装上再说，呵呵 -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:06:21

• 嗯， 只要能偷到就行 -湖上散人- ♂ 给 湖上散人 发送悄悄话 湖上散人 的博客首页 (0 bytes) () 01/23/2025 postreply 18:36:44

• WTF is wrong with you? -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (83 bytes) () 01/23/2025 postreply 18:42:42

• 这里太多了 -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:45:10

• 一群既不懂行又看不起中国人智商的弱势群体 -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:59:21

• 这里某些人设连AI是什么都搞不懂，一直喋喋不休，烦死了 -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:03:04

• 这个冒傻气了 -凊荷- ♀ 给 凊荷 发送悄悄话 凊荷 的博客首页 (131 bytes) () 01/23/2025 postreply 19:18:52

• 哈哈,在美华人自恨的真多啊!和烙印对比真是鲜明。看数据所有美国亚裔rank众多亚洲国家都是 -tidytiger- ♀ 给 tidytiger 发送悄悄话 tidytiger 的博客首页 (164 bytes) () 01/23/2025 postreply 19:19:32

• 这个是中国人的问题，还是中国政府的问题，还是文化的问题，还是都有问题？ 赫赫。。 -Midwestrural- ♂ 给 Midwestrural 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:25:44

• 不知道原因,但有人认为可能是被survey的在美华人人年龄偏大。就紫檀看,这个数据还是比较真实的。 -tidytiger- ♀ 给 tidytiger 发送悄悄话 tidytiger 的博客首页 (0 bytes) () 01/23/2025 postreply 19:32:14

• 这些年龄偏大的人三十年前也是这样的认识么？赫赫。。现在年轻的三十年后又会有多少保存现在的想法呢？ -Midwestrural- ♂ 给 Midwestrural 发送悄悄话 (220 bytes) () 01/23/2025 postreply 19:34:25

• 跟这种赖在我们美国的中国人浪费什么口舌么。嘿嘿 -Feinbery- ♂ 给 Feinbery 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:43:39

• 赫赫，三十年前我在同学家的饭桌上把我同学的爹说得是满脸通红，只因他去了趟日本回来后，饭桌上说起中日的不同。。 -Midwestrural- ♂ 给 Midwestrural 发送悄悄话 (641 bytes) () 01/23/2025 postreply 19:54:55

• 你和我党极力宣传的越出国越爱国背道而驰啊。嘿嘿 -Feinbery- ♂ 给 Feinbery 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:58:41

• 现在这些年轻人多是还没有真正进入过中国的社会就出来了，没有体会和见识过我党的黑。。赫赫。。其实只要回去工作个三五年。。 -Midwestrural- ♂ 给 Midwestrural 发送悄悄话 (205 bytes) () 01/23/2025 postreply 20:03:17

• 我不觉得，因为中国人民斯德哥尔摩症多啊 -Feinbery- ♂ 给 Feinbery 发送悄悄话 (0 bytes) () 01/23/2025 postreply 20:07:00

• 赖在美国?您脸真大,可真会侮辱人。我真于自己的本心,身份认同上没有觉得自己是个真正的美国人, -tidytiger- ♀ 给 tidytiger 发送悄悄话 tidytiger 的博客首页 (59 bytes) () 01/23/2025 postreply 20:05:29

• 兔妈，快来，这位在说你无傲骨不诚实呢。嘿嘿 -Feinbery- ♂ 给 Feinbery 发送悄悄话 (0 bytes) () 01/23/2025 postreply 20:08:51

• 你个大男人,行事如此不磊落,我鄙夷你。我说你呢,你导向兔妈。 -tidytiger- ♀ 给 tidytiger 发送悄悄话 tidytiger 的博客首页 (0 bytes) () 01/23/2025 postreply 20:14:01

• 所有有野心的人都是这样吧？美国偷英国纺织技术，台积电偷TI，华为偷思科，关键是把偷的东西变成自己的然后超越前人 -Amita- ♂ 给 Amita 发送悄悄话 (0 bytes) () 01/23/2025 postreply 20:18:30

• 是挺散的 ：）老了就老了，跟不上就跟不上了。。自爱一点。 -DukeAB- ♂ 给 DukeAB 发送悄悄话 (0 bytes) () 01/24/2025 postreply 18:28:21

• 你这也信？ -12度圆缺- ♂ 给 12度圆缺 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:37:26

• 虽然对祖国的东西绝大部分不信。但字节跳动还是很牛的。居然这么多美国高科技公司干不过它。让我百思不得其解。 -Feinbery- ♂ 给 Feinbery 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:42:49

• 这个我同意 -12度圆缺- ♂ 给 12度圆缺 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:48:37

• 有什么百思不得其解？共党邪恶呗 -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:50:45

• 希特勒不邪恶么？德国那时出多少牛科学家？我党治下10来亿人，才出几个？ -Feinbery- ♂ 给 Feinbery 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:34:32

• 这。。。那些科学家几乎都是犹太人。难道是希特勒培养的？他说量子力学是犹太人的科学。所以不相信核武研究 -Bailey4321- ♀ 给 Bailey4321 发送悄悄话 (33 bytes) () 01/23/2025 postreply 19:43:03

• 谁说几乎都是犹太人的？诺奖近半德裔，近1/4犹太裔。当然按人口比例还是犹太人牛些 -Feinbery- ♂ 给 Feinbery 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:45:58

• 这个不是孤立的，不太像依次放卫星 -古代的事物- ♂ 给 古代的事物 发送悄悄话 古代的事物 的博客首页 (0 bytes) () 01/23/2025 postreply 18:43:55

• 也要open minded. Alex Wang这样的专家都认为测试结果在同一档。也许不是通用，但这种开源系统，公司可 -quantnj- ♂ 给 quantnj 发送悄悄话 (38 bytes) () 01/23/2025 postreply 18:43:56

• 有本事读code去呀。中国的是open source，已经放出来了 -凊荷- ♀ 给 凊荷 发送悄悄话 凊荷 的博客首页 (56 bytes) () 01/23/2025 postreply 19:20:51

• 去看看美国人的评价，不要一说起中国的东西好像一文不值 -lionhill- ♂ 给 lionhill 发送悄悄话 (164 bytes) () 01/23/2025 postreply 19:37:22

• 自己上X去读读评论，不要忘自菲薄！ -lionhill- ♂ 给 lionhill 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:39:15

• 这是豆包和GPT-4两种不同的approach的优劣比较，according to ChapGPT: -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (28775 bytes) () 01/23/2025 postreply 18:44:19

• OpenAI以前指责过豆包用它的API输出训练模型。豆包承认是有一个小组用OpenAI训练很小部分但后来把数据清理出来了 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:49:45

• 但根本问题是OpenAI花几百上千亿做训练路子对不对 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 01/23/2025 postreply 18:51:32

• AI Infrastructure花的钱建的数据中心的算力主要不是做训练，而是训练后deploy持续运作的算力。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 01/23/2025 postreply 18:58:13

• 英伟达和几个头部AI公司股票悬了 -青裁- ♂ 给 青裁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:01:00

• 我估计是用它的输出逆向工程，揣摩OAI的架构 -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (533 bytes) () 01/23/2025 postreply 18:57:34

• 这个和我儿子说的一样，他也说RL才有课题可做，GenAI做得太多了 -whaled- ♂ 给 whaled 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:02:18

• 同意，RL是主方向 -青裁- ♂ 给 青裁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:04:00

• Hinton 的 Boltzmann Machine 实践上落后了，理论还是站得住的 -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (210 bytes) () 01/23/2025 postreply 19:14:46

• RL只能是domain narrow，所以不会有什么AGI -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:16:42

• policy是可以学习和巩固的，这就是人脑学习的过程 -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (51 bytes) () 01/23/2025 postreply 19:18:51

• 产生联想是不可逾越的鸿沟，因为电脑没有自主意识，人脑才有 -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:21:39

• 这个将来的事情不好说，我觉得可能。 -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (84 bytes) () 01/23/2025 postreply 19:24:10

• 情感是关键词here。。。哪天电脑有了情感，人类就准备后事吧。不过我认为不可能。 -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:25:46

• 显而易见 -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (201 bytes) () 01/23/2025 postreply 19:05:33

• 这里大部分连皮毛都没有搞懂 -我是谁的谁- ♂ 给 我是谁的谁 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:07:46

• 谷歌DeepMind的Demis那个是RL，和Altman的Generative AI是AI里不同的两个门派。 -大观园的贾探春- ♀ 给 大观园的贾探春 发送悄悄话 大观园的贾探春 的博客首页 (0 bytes) () 01/23/2025 postreply 19:03:54

• Demis也搞生成式人工智能的，大姐 -bagel_bites- ♂ 给 bagel_bites 发送悄悄话 (0 bytes) () 01/23/2025 postreply 19:06:39

• 一年后达到便宜的多，超过更贵 -wass- ♂ 给 wass 发送悄悄话 wass 的博客首页 (0 bytes) () 01/23/2025 postreply 21:18:00

请您先登陆，再发跟帖！