我现在换了行业做金融AI，主要把LLM用于金融行业的使用场景，觉得语言模型其实还远远没有进入使用阶段

来源: 丁丁在美洲 于 2024-09-01 15:43:34 [] [博客] [旧帖] [给我悄悄话] 阅读数 : (725 bytes)

举个简单的例子，比如对一家公司的各种财报和新闻进行分析，因为大模型是没有记忆的，就需要把所以的资料每次都作为提示词传给大模型。这些资料往往是几十万上百万个token，每次都传是不可能的。RAG的入门做法是把这些资料分成chunk然后embedding，再放到矢量数据库找相关的chunk，但是这么一来就失去了信息的全局性。最新的做法是用知识图谱，微软刚刚开源了他们的GraphRAG，试了一下加了电脑的4096显卡根本带不动，送到OpenAI去十几万token的一本书生成知识图谱就需要十多美元。所以现在的语言大模型基本上停留在写打油诗的阶段。

所有跟帖： 

• 国内叫银行小助手之类，对吧？ 当然有更高级的 -cnrhm2017- ♂ 给 cnrhm2017 发送悄悄话 cnrhm2017 的博客首页 (0 bytes) () 09/01/2024 postreply 16:37:42

• 跟这个没关系 -丁丁在美洲- ♂ 给 丁丁在美洲 发送悄悄话 丁丁在美洲 的博客首页 (0 bytes) () 09/01/2024 postreply 17:20:48

请您先登陆，再发跟帖！