人工智能行业点评：CHATGPT对算力的需求究竟如何？

事项：

2022 年11 月30 日人工智能实验室OpenAI 发布全新聊天机器人模型ChatGPT，其是一款人工智能技术驱动的自然语言处理工具。自从ChatGPT 推出以来，受到市场广泛关注，当前每日用户超过1000 万人。

【资料图】

评论：

Chatgpt 成本主要可以拆分成训练和推理两个阶段。人工智能主要分为计算机视觉和自然语言处理两大基础方向，当前自然语言处理类任务基于大型语言模型（LLM，Large Language Model）演进出了最主流的两个主要方向，BERT（基于Transformer 的双向编码器表示技术）和GPT（基于Transformer 生成预训练技术），Google 属于BERT 技术方向，微软投资的OpenAI 属于GPT 技术方向。从计算过程上，人工智能计算主要可以分为模型训练与推理两个阶段，针对大语言模型LLM 更是如此，随着参数与数据规模的不断增大，将带动拉动算力需求的快速增长。

“token”是当前语言类模型的数据单位。当前的自回归语言模型是根据token 来作为单位进行数据处理和计算，分词（tokenization）就是将句子、段落、文章这类型的长文本分解为以token 为单位的数据结构，把文本分词后每个词表示成向量进行模型计算。例如在英文语境下，“happy”可能被分解为“hap”、“-py”两个token，中文语境下，“我很开心”可以分成“我”，“很”，“开心”三个token。

以英伟达DGX A1OO 服务器作为计算资源：（1）单台服务器售价20 万美元；（2）采用云服务单天成本约为460 美元。根据英伟达官网数据，英伟达超算GPU 系列从旧到新包括P100、V100、A100、H100等，其中，DGX A100 系列服务器为2020 年发布，是当前主流使用的超算服务器，单机有8 个A100 系列GPU，AI 算力性能为5 PetaFLOP/s，单机最大功率6.5kw，售价19.9 万美元；如果租用云服务，根据亚马逊数据显示，在亚马逊AWS 预定一年的A100 系列GPU，有8 个A100 的AWS P4 实例的平均成本约19.22 美元，一天的平均成本约为461.28 美元。

ChatGPT 上一个30 字的问题需要消耗计算资源0.12 PetaFLOP/S。最常见的Transformer 类语言模型在推理过程中每个token 的计算成本（以FLOPs 为指标）约为2N，其中N 为模型参数数量（20 年发布的GPT-3 拥有1750 亿参数，22 年谷歌发布的PaLM 拥有5400 亿参数，由于并未公布当前GPT3.5 的参数数量，当前假定参数数量为3000 亿），假设模型的FLOPS 利用率约为20%，粗略估计ChatGPT一个30 字（假设约40 个token，注：在英文语境下，一般1000 个token=750 个单词）问题需要的算力资源为2*40*3000 亿/20%=0.12 PetaFLOP/S。

推理成本：为满足当前用户访问产生的推理成本，自建IDC 初始投入约在4 亿美元，租用云服务每日成本约28 万美元。根据Similarweb 的数据，23 年1 月份当前ChatGPT 日活约1300 万人，每人平均1000 字左右的问题，因此合计产生约130 亿字（173.3 亿个token），假设24 小时平均分配任务，需要的A100 GPU 数量为173.3 亿*2*3000 亿/（20%*24 小时*3600 秒）=601.75 PetaFLOP/S，由于访问流量存在峰值，假定访问峰值是一天均值的5 倍，因此共需要602 台DGX A100 服务器能够满足当前的访问量。

（1） 自建IDC：服务器成本约占数据中心成本30%左右，为满足当前日常访问需求，前期一次性成本投入约为602*19.9/30%=3.99 亿美元；

（2） 云服务：假设每天租用亚马逊AWS 云服务，每天成本为461.28*602=27.77 万美元。

训练成本：训练阶段每个Token 的训练成本约为6N（推理成本为2N），由于每年训练成本都在快速下降，此处引用OneFlow 的测算结果，在公有云中训练OPEN AI 的GPT-3 模型需花费训练成本约140万美元，Google 的PaLM 模型需花费训练成本约1120 万美元。

预计在ChatGPT 结合Bing 搜索功能后，其对算力资源的消耗将成数倍增长。当前ChatGPT 模型可以理解为在一个在庞大训练数据集上训练的LLM，它会将训练期间的知识存储到模型参数中。在推理过程中（使用模型生成输出），LLM 无法访问外部知识，仅依靠模型参数进行计算；如果将ChatGPT 与搜索功能结合，如Bing 等搜索引擎，其计算过程将通过搜索引擎返回多个查询结果，并通过GPT 计算生成多个响应，在返回最高分的响应给用户，其对算力资源的消耗将成数倍增长，增长倍数取决于搜索和响应的个数。

投资建议：

当前处在以ChatGPT 为主线的新一轮人工智能创新周期，ChatGPT 为人工智能产业注入新活力，有望带动AIGC 类应用快速爆发，人工智能技术作为驱动数据经济的技术底层，有望迎来新的发展机遇。数据、算力与算法是人工智能时代的三大基石，三者相互促进带动AI+应用快速落地，ChatGPT 为首的自然语言处理类技术及应用，有望迎来全面爆发，建议重点关注人工智能相关赛道。

风险提示：

模型假设不合理对测算结果造成偏差，ChatGPT 商业化落地不及预期。

关键词 人工智能 自然语言处理 语言模型