关于AI边缘算力的思考

  把大模型蒸馏做小然后塞到各个Alot全部AI化当然是未来非常有前景的事情，最近雪球有一些新晋的大V不断在吹这个方向，我研究了一下发现短期几乎很难落地，现在全志科技中科创达等还是蹭概念，注意风险：

  1、目前大模型之所以牛逼其实就是搭载了最强大的GPU以及海量的内存和算力才能这么牛逼，如果严格按照边缘端侧的定义，如果把模型蒸馏做小，那么在端侧推理测起码得有满足其运算能力的芯片，这种芯片肯定不便宜，性能也会极高，目前全球都应该没有基于transformer架构的soc芯片出来，所以全志那种几十几百块的芯片显然不是。

  2、即便有这样的芯片，必定也是GPU，价格也肯定不菲，我无法想象从成本上能应用到终端售价才几百块的智能音箱中，天猫那个一看就是云端推理的。

  3、真正意义上满足端侧计算的硬件性能只能是手机。第一是从内存上能满足大模型做小（再怎么蒸馏我猜也得有上百G），而是手机无论从成本或者算力还是能承载高端芯片的，所以你看高通说边缘AI还是从手机举例，不可能拿扫地机器人这种落地。

  4、目前端侧接上云端大模型实现各种应用当然是可行的，但那不是边缘计算，就是app要联网一样的道理。

  边缘芯片真正逻辑还是大模型带动智能硬件的量增，而不是雪球一些大牛和卖方吹得那样神乎其神。

  比较好奇的是既然国外800G都这么大的增量了，国内大模型也搞得这么热，为啥就听不到国内800G下单的消息呢？国内这些算力巨头的解决方案和升级路径是什么，800G是不是还有国内的预期差？我看了很多访谈纪要，几乎都在谈国外增量就没几个谈国内的，有大神知道原因么？

  有没有一种可能，高端gpu都买不到，800g光模块有啥用？或者说800g光模块是配套英伟达的高端gpu使用的

  第一步当然简单的API调用，国光电器智能音箱阿里智能眼镜这些，第二步大模型蒸馏压缩，不只是NLP这类，未来会有各种大大小小的模型，取决你的场景大小，比如简单的AI可视门铃。开源社区已经有把32浮点压缩int4在边缘SOC（4tops）实例了。

  中科创达应该是走的大模型，后面的总结是对的智能硬件爆发带动soc增量。前面踩一脚多余了在低位就是最大的利好

  前提假设大部分数据是非实时交互，解决传输，吞吐的问题，就没边缘啥事了边缘的概念提及无非是降低时延（处理时延，传输时延），主要针对实时业务，当年16年VR概念兴起，边缘计算逐渐火热，一直延续至今，也没有一款基于Vr（20ms时延要求）的爆款应用出来，所以在Vr（或者说强实时数据交互型业务）没有爆发的大前提下，谈边缘计算有点扯淡17.18年开始跟移动集团研究院交流边缘计算，至今整整5年了……也仅仅是demo阶段那么问题来了，现在的Ai哪个业务是强实时业务？