对话APUS李涛：全方面转型做AI蒸馏法训练大模型沉淀中小模型

  走进融新科技中心A座23层，映入眼帘的是绿植、野营桌椅帐篷，在如此轻松的环境下，雷峰网见到了APUS创始人李涛，他着一身休闲装，显得很放松。

  对谈前，他用八个字总结了创办APUS的心路历程——“享受过程、追求快乐”，对谈过程中，也始终强调着“快乐”的重要性。一场对谈下来，他口中有关“创业压力、至暗时刻”的抱怨很少，更多的是应对变局时的从容淡定。

  雷峰网从侧面了解到，APUS在选择办公地址时通常首选高层，原因是窄小的格子间只会给程序员带来压迫感，毫无快乐可言，高楼层视野开阔，可以让程序员们员工心胸更宽广。站在APUS办公室的窗前能看到北京最高的建筑“中国尊”。

  李涛是国内最早一批接触到大模型的人之一，早在2019年，他就和字节跳动创始人张一鸣、红杉中国创始人沈南鹏在硅谷见了OpenAI创始人Sam Altman，这也为APUS全方面转型人工智能埋下了伏笔。

  2022年11月底，OpenAI上线ChatGPT引发了全球性的关注，随后谷歌母公司Alphabet宣布将推出名为“Bard”的AI（人工智能）聊天机器人服务以及多个人工智能项目，紧接着Azure OpenAI重磅推出了 GPT-4，相继微软宣布将大型语言模型（LLM）和Microsoft 365应用相结合，正推出全新的AI功能。

  反观国内市场，其激烈程度不亚于国外，自今年2月份ChatGPT在国内火爆出圈后，互联网厂商们坐不住了，迅速加入AI赛道。首先是百度官宣文心一言，并在之后的邀约测试环节中吸引了12万人，随后阿里、腾讯、360等互联网公司相继官宣加入该赛道。

  相较百度而言，虽然后者还没有推出可商用的大模型产品，但也纷纷转投了大部分精力到大模型的研发工作上。

  全球化智能手机操作系统企业APUS，以工具类产品为基础逐渐衍生出内容等相关这类的产品和服务，从2014年成立至今已经在全球拥有了超24亿用户，覆盖200多个国家和地区，支持超25种语言。面对此次AI大模型风口，APUS早在2019年就开始了相关布局，并于去年底启动大AI战略，比国内的AI热潮提早了一到两个月的时间。

  从移动互联网公司转型人工智能，李涛坦言，“和公司的定位有很大的关系，2020年以前我们对自己的定位是‘中国出海企业’，之后转成‘全球化公司’。这决定了我们会更早的感知到国外的技术、思维等方面的变化，去年年底则真正感受到了AI 带来的竞争压力，也看到了其巨大的发展的潜在能力，我们随之启动了全面拥抱AI的战略转型。”

  李涛：创业是一个动态的过程，不是开始，更不是结果。创业者必然会经历高光也会经历低谷，不能单纯的追求三年或者五年后的特定高光时刻，高光后还会回归到落寞的状态是自然规律，所以创业者没必要为了高光而辛苦，而是要享受过程，从中让自己更快乐。

  李涛：对，我觉得人做事第一要顺势而为，第二要学会造势，第三要享受过程，这三件事你都做到了，就会很快乐，你的心态也会非常平衡，成功之后也不会有很强的补偿心态。

  李涛：积极稳定的心态。有些上市公司并不赚钱，因为这些创业过程艰难，企业家认为太苦了，上市后补偿心理就会太重，一旦有了这种心态就很难成功。现在很多成功企业的领头人恰恰是在享受过程，并不是为了追求走到哪一个高光时刻，但是这一些企业一旦进入高光区往往就会持续很久，这是积极的心态带来的正向效应。

  我创办APUS以后，企业的业务增长很快，因为创造了社会价值，我在其中也感受到快乐，没有补偿心理，这种心态让我更容易做出正确的判断，帮企业维持了比较好的发展态势。

  李涛：APUS是一家以产品技术为核心竞争力的全球化移动网络公司，2014-2019年一直做出海业务，我们那时的定位是中国出海企业，2019年APUS战略升级为“全球化”，把自己定位为全球化公司，无论中国、美国或另外的地方，都是我们最终选择的一个市场区域。

  李涛：ChatGPT出来后再次证明了国内互联网的全球化发展很不充分，去年10月ChatGPT就在美国火了，当时很多美国学生都用它来做作业，但这个概念到今年2月才在国内出圈，这在某种程度上预示着中国在技术意识方面要比美国晚3到4个月以上的时间。而APUS是全球化企业，在这个定位下，感知和思维模型就会有全球化视野，我们大概去年就已经接触到了ChatGPT并开始了相关研究和自我筹备。

  李涛：从AIGC开始入手，当时不是按照ChatGPT 这样的解决方法，但我们很快就发现了ChatGPT 模型的训练能力是极强的。因为语言模型训练是十分艰难的一件事，比AIGC的挑战大的多，今天大部分AIGC都不能算是大模型而是自建的中等模型。

  李涛：我不这么认为。因为他们很难颠覆自己的“商业模式”去实现自我革命。搜索引擎是归纳法，在归纳法的基础上创建自己的商业模式，他们不太可能去做演绎法的事情。像谷歌做大模型就是很被动的在做，因为它在大模型方面是落后的，就一定要按照别人制定的规则来做，而OpenAI已经把规则定下来了。假如谷歌能做出一个超越 OpenAI的大模型，他会试图重新把这套东西拉回到自己原来的那套规则上，去发挥它原有的优势向下做，这必然会导致落后。这是谷歌这类公司的痛点，它很难改变。

  李涛：对，目前能做GPT的大多是网络企业，但这一些企业本质上都有既得利益，他们不愿意舍弃这些既得利益。王慧文投5000万美金这个事就可以让我们期待。

  李涛：中国试图做AI大模型的企业都值得期待，只是王慧文在所有人没表态的时候就站出来了，但这仅仅是表态，最终能输出什么样的产品我们还需要再观察。

  李涛：大模型靠的是什么？第一场景，第二数据，第三算法，第四算力，不单单是砸钱就能搞定的事情。

  客观来看，我们有场景，也有不小的数据体量，但这个数据放在全球市场来看也没有非常大的优势。我们有算法，但都是割裂状态，没有一个开放平台让大家把拥有的算法都贡献出来。算力方面，我们正面临高性能算力的限制，芯片方面较美国，中国还是有很大差距的。

  总的来讲就是，场景丰富；但数据只能算中等规模；算法是极度分散，没形成合力；算力则是严重不足。

  李涛：一方面，中国的算力大部分掌握在政府手里和运营商手里，所以要政府推动进行算力整合。另一方面，也需要行业推动，公开算法。

  李涛：大模型不公开是正常的，因为大模型和商业模式挂钩，会直接决定企业营收。算法是可以公开的，只有算法公开，才可以把大家的智慧集中起来。所有代码都开放出来意味着有更多人能够维护和优化代码，代码一旦升级到很高的水平，数据和模型能力就会迅速提升，这本质上是一个利己的行为。OpenAI就很聪明，它做完这件事就把接口全部开放出来了。而且也更利于训练自己的模型，模型训练需要更多的数据和场景，这不是千百个程序员坐在办公的地方能想出来的。

  从另一个角度来看，公开算法会促使更多开发者进行创新，能够推动行业进步，也是在创造更好的创新环境和发展氛围。这样看来，开源利人利己，何乐而不为？

  李涛：有机会，但不会一下起来，这场AI潮比拼的本质是你能不能先抓住场景；第二是数据，第三是国际化的问题，只有足够国际化才能解决算法一直更新迭代的问题，才能解决算力不足的问题。

  李涛：2019年年APUS开始从中国出海企业转为全球化公司，今年就是要全面拥抱AI，成为一家人工智能公司，这是非常明确的目标，我们预估转型后企业业绩有望实现200%的增长。

  李涛：第一，企业内部生产工具的改进和生产效率的提升；第二，用人工智能改造现在所有的产品；第三：在人工智能的环境下去探索新的物种和新的产品；第四：把AI推到全产业链中，让AI成为新引擎。

  李涛：或许会合作，但存在一个核心问题，双方合作沉淀下来的模型在他那还是在你这儿，这个关系很难平衡。所以国内企业都要考虑沉淀出属于自身个人的中小模型，这是未来一切发展的基础。

  李涛：要用别人的大模型方法实现自我训练，也要反向的通过领先的大模型用蒸馏法训练自己的模型，另外在关键节点还要加一部分人工干预。

  李涛：我们自研了一个参数在1000亿以内的“天燕”大模型，并形成了无数个精炼模型（中小模型），另外还反向用像GPT这样的大模型通过蒸馏法来训练自己的大模型。

  从商业化角度，针对不同场景有不同的小模型，每个场景可能有1到10款不同的产品和软件，这样也能保障有足够大的用户量来训练我的小模型。

  李涛：不同之处在于参数、算力和场景。大模型和中小模型有很明显的界限，中小模型之间则没有很大的界限。大模型的使用面非常广，它可以分装成中模型和小模型，中模型是最复杂的，一般是独立建的模型，像商汤和旷视。未来可能很少会存在单独的小模型，一般在大模型的训练场景中加上参数，就会形成一个小模型。

  李涛：毋庸置疑肯定是中小模型，下半年各种中小模型会迅速产出商业经济价值，但从长远来看更具潜力的一定还是大模型。如果说第一个时代的操作引擎是 windows 和Linux，第二个时代的操作引擎就是安卓和iOS，那么下一个时代的操作引擎就是人工智能，OpenAI实际上的意思就是想把GPT做成一个操作系统，大家都想争这个操作系统的掌控权和话语权。

  李涛：ChatGPT帮我们利用人类的智慧生成了一个全新的结果，且这个结果在历史上从来就没出现过的，它把这个结果作为唯一性的选择给到我们，这是过去机器没办法完成的。

  它相当于一个7岁小孩的智慧，会模仿会创新，就像他看了无数幅画后，他自己会画一幅画，进行全新创作。

  李涛：业界对ChatGPT的认知还比较落后，前段时间我的MBA 课程留了一份课堂作业，基于纪录片《寿司之神》描述日本工匠精神，我用ChatGPT完成了这份PPT，第二天讲的时候，很多人都还惊讶，不知道ChatGPT是什么。

  李涛：我们内部所有系统都已经接入人工智能，图片图标制作完全用AI替代，一半以上的程序员代码都是用AI来review的。

  李涛：去年春节以后APUS制定了一个奖励机制，要求所有程序员、设计师以及生产一线的同事都必须用人工智能来提高个人的生产效率，提升30%效率的加薪10%，如果提升 50% 以上加薪20%-30%，激励大家使用AI。

  李涛：谁优先想到用人工智能，谁把AI用得更彻底，谁的生产效率最高，谁在行业内的潜力就越大。

  淘工厂亮相“服贸会”：2024年淘工厂已新增8万多源头工厂，接下来将聚焦扶持“星厂牌”

  一年立省30万，成本降低25%！淘宝上线退货宝首日，大量商家实测退换货成本大降

  腾讯会议与vivo OriginOS成立联合实验室，打造低时延、低功耗的会议体验