越来越多的公司开始宣称多少代码由AI生成。我们合作最多的一家 out sourcing 公司也在商讨利用AI完成一定的代码生成。但是,在现实应用中的代码转换需求测试中,AI代码生成和转化和Ai做微积分一样还不成熟。这篇论文挺有意思的。 https://arxiv.org/pdf/2405.11514
测试结果显示,各大基于LLM上的代码翻译器的完美度都低于50%,而且完美度随着变量参数的增加,和fiction的调用次数增加而下降,几乎不可用。而比赛或者刷题环境和现实应用场景相差甚远,以考试或者竞赛题来判断Ai的成熟度,明显是不够的。
现在language之间的转换,需要一个更有效的工具。个人保留意见,还是不认为基于LLM的 Marovian 基础思维还不是推理智能的功能。
所以,基于LLM上的AI大概率停留在recommendation的功能上。