十具兄，请教一个问题; 计算语言学怎么处理汉语了字句？

来源: stonebench 于 2023-12-11 11:13:10 [] [博客] [旧帖] [给我悄悄话] 阅读数 : (122 bytes)

V了O

VO了

V了O了

基本原理是什么，能准确区分吗？

 

所有跟帖： 

• 把了字作为一个特殊符号就可以了吧。 -QualityWithoutName- ♂ 给 QualityWithoutName 发送悄悄话 QualityWithoutName 的博客首页 (0 bytes) () 12/11/2023 postreply 11:57:52

• 有很多方法啊 -老生常谈12- ♂ 给 老生常谈12 发送悄悄话 老生常谈12 的博客首页 (148 bytes) () 12/11/2023 postreply 12:02:25

• 我没有说清楚。说的不是怎么对应汉字，而是怎么区分意思上的不同。 -stonebench- ♂ 给 stonebench 发送悄悄话 stonebench 的博客首页 (167 bytes) () 12/11/2023 postreply 14:18:49

• I bet it is heavily and fundamentally statistical -中间小谢- ♂ 给 中间小谢 发送悄悄话 (95 bytes) () 12/11/2023 postreply 14:41:17

• 在与非门这一物理层面，中英文和任何语言的文字辩识应该没有区别 -JSL2023- ♂ 给 JSL2023 发送悄悄话 (328 bytes) () 12/11/2023 postreply 15:19:28

• 主谓宾语法分析，跟英文一样。Word很早就有语法检查 -晚春123- ♂ 给 晚春123 发送悄悄话 (0 bytes) () 12/11/2023 postreply 12:30:50

• 不懂计算语言学的不要瞎参合。Lol -QualityWithoutName- ♂ 给 QualityWithoutName 发送悄悄话 QualityWithoutName 的博客首页 (0 bytes) () 12/11/2023 postreply 13:15:41

• 你这里“准确区分”是什么意思？如果语义一样，区分干嘛？如果应用是汉译英，3个输入对应1个输出就是了。 -十具- ♂ 给 十具 发送悄悄话 十具 的博客首页 (0 bytes) () 12/11/2023 postreply 15:32:37

• 简单的SVO句子，传统rule-based算法就好使。首先分词，定词性，匹配SVO结构后就有了基本语义。助词“了”表示完 -十具- ♂ 给 十具 发送悄悄话 十具 的博客首页 (406 bytes) () 12/11/2023 postreply 15:37:24

• 吃饭了，吃了饭，吃了饭了，这点口语的变形，自然语言理解算法能对付。“吃食堂”就麻烦多了。我的领域不是自然语言处理，只是知 -十具- ♂ 给 十具 发送悄悄话 十具 的博客首页 (48 bytes) () 12/11/2023 postreply 15:47:45

• 当然“吃饭了”的“了”可能不是完成的意思，而是个语气词。这种歧义只能求助上下文。这种情况，基于统计推断的方法就有优势了。 -十具- ♂ 给 十具 发送悄悄话 十具 的博客首页 (0 bytes) () 12/11/2023 postreply 16:04:52

• 谢谢！ -stonebench- ♂ 给 stonebench 发送悄悄话 stonebench 的博客首页 (0 bytes) () 12/12/2023 postreply 06:49:19

• 好问题：） -snowandlotus- ♀ 给 snowandlotus 发送悄悄话 snowandlotus 的博客首页 (0 bytes) () 12/11/2023 postreply 20:42:55

请您先登陆，再发跟帖！