1.  在大型training方面，每3.5月，算力需求就增加一倍。目前根本跟不上这个需求。

如果没有S/W 和H/W ARCHITECTURE INNOVATION，这个问题是无解的！

2.  解决方法有两个：

   A） Approximate Computing:就是FP8，4-bit, 2-bit inferencing（weight and activiation uses reduced precision).  需要在误差和性能之间找到平衡。

  B） Analog AI (in-memory computing): 把计算搬到memory 里面。从而解决了Von Neuman bottleneck。目前在实验阶段。有信心商业化。