十具兄,请教一个问题; 计算语言学怎么处理汉语了字句?

来源: stonebench 2023-12-11 11:13:10 [] [博客] [旧帖] [给我悄悄话] 本文已被阅读: 次 (122 bytes)

V了O

VO了

V了O了

基本原理是什么,能准确区分吗?

 

所有跟帖: 

把了字作为一个特殊符号就可以了吧。 -QualityWithoutName- 给 QualityWithoutName 发送悄悄话 QualityWithoutName 的博客首页 (0 bytes) () 12/11/2023 postreply 11:57:52

有很多方法啊 -老生常谈12- 给 老生常谈12 发送悄悄话 老生常谈12 的博客首页 (148 bytes) () 12/11/2023 postreply 12:02:25

我没有说清楚。说的不是怎么对应汉字,而是怎么区分意思上的不同。 -stonebench- 给 stonebench 发送悄悄话 stonebench 的博客首页 (167 bytes) () 12/11/2023 postreply 14:18:49

I bet it is heavily and fundamentally statistical -中间小谢- 给 中间小谢 发送悄悄话 (95 bytes) () 12/11/2023 postreply 14:41:17

在与非门这一物理层面,中英文和任何语言的文字辩识应该没有区别 -JSL2023- 给 JSL2023 发送悄悄话 (328 bytes) () 12/11/2023 postreply 15:19:28

主谓宾语法分析,跟英文一样。Word很早就有语法检查 -晚春123- 给 晚春123 发送悄悄话 (0 bytes) () 12/11/2023 postreply 12:30:50

不懂计算语言学的不要瞎参合。Lol -QualityWithoutName- 给 QualityWithoutName 发送悄悄话 QualityWithoutName 的博客首页 (0 bytes) () 12/11/2023 postreply 13:15:41

你这里“准确区分”是什么意思?如果语义一样,区分干嘛?如果应用是汉译英,3个输入对应1个输出就是了。 -十具- 给 十具 发送悄悄话 十具 的博客首页 (0 bytes) () 12/11/2023 postreply 15:32:37

简单的SVO句子,传统rule-based算法就好使。首先分词,定词性,匹配SVO结构后就有了基本语义。助词“了”表示完 -十具- 给 十具 发送悄悄话 十具 的博客首页 (406 bytes) () 12/11/2023 postreply 15:37:24

吃饭了,吃了饭,吃了饭了,这点口语的变形,自然语言理解算法能对付。“吃食堂”就麻烦多了。我的领域不是自然语言处理,只是知 -十具- 给 十具 发送悄悄话 十具 的博客首页 (48 bytes) () 12/11/2023 postreply 15:47:45

当然“吃饭了”的“了”可能不是完成的意思,而是个语气词。这种歧义只能求助上下文。这种情况,基于统计推断的方法就有优势了。 -十具- 给 十具 发送悄悄话 十具 的博客首页 (0 bytes) () 12/11/2023 postreply 16:04:52

谢谢! -stonebench- 给 stonebench 发送悄悄话 stonebench 的博客首页 (0 bytes) () 12/12/2023 postreply 06:49:19

这个例子举得妙。你给网管说个情,把唐静安放出来跟你辩:) -snowandlotus- 给 snowandlotus 发送悄悄话 snowandlotus 的博客首页 (0 bytes) () 12/11/2023 postreply 20:44:35

唐小七早就做了面膜,拜访过茶坛了..... -jinjiaodw- 给 jinjiaodw 发送悄悄话 (0 bytes) () 12/11/2023 postreply 21:15:05

好问题:) -snowandlotus- 给 snowandlotus 发送悄悄话 snowandlotus 的博客首页 (0 bytes) () 12/11/2023 postreply 20:42:55

请您先登陆,再发跟帖!