字节跳动组建大模型团队

当前ChatGPT火爆，有人称，2023年开始将进入人工智能的“黄金十年”。原则上只要是自然语言能表达出来的领域，ChatGPT都会发挥一定的作用。此外，图片、语音、视频等各个方面也会逐渐的和人工智能挂钩。近期百度、字节等互联网企业陆续发声，表示组建团队，布局大模型。中国版ChatGPT争夺战在国内打响，各路英豪举起ChatGPT概念大旗，仿佛走在了行业的前面。

所谓“大模型”，通常是在无标注的大数据集上，采用自监督学习的方法进行训练。之后在其他场景的应用中，开发者只需要对模型进行微调，或采用少量数据进行二次训练，就可以满足新应用场景的需要。ChatGPT的应用场景很多，可谓是法力无边。凡是能被ChatGPT的地方都会让你眼前一亮，你运用ChatGPT工具，也会爱不释手，谁不喜欢一个超人朋友？

不过，在大模型的框架下，ChatGPT所使用的GPT模型，每一代参数量均高速扩张，预训练的数据量需求和成本亦快速提升。据资料，仅GPT-3训练一次的成本约为140万美元，对于一些更大的LLM模型，训练成本介于200万美元至1200万美元之间。因此说进入大模型首先得肯烧钱。另外从参数数量上，国内并不缺数据，百度、字节这样的公司都有海量的数据积累，不过后续包括数据清洗、标注以及模型的结构设计，训练、推理等都需要时间积累。此外想做大模型，不仅是资金，还有人力和基础模型，对于互联网大厂而言，难度也是不小。