计算机行业专题研究：GPT系列：经典深度学习算法拆解|环球即时

(资料图片)

深度学习是基于神经网络的机器学习

深度学习可以概括为特征的抽象和结果的预测。深度学习与神经网络密不可分，主要原因是神经网络模型可以使用误差反向传播算法，较好地解决了深度学习中的贡献度分配问题。从历史发展看，神经网络诞生于1943 年提出的MP 模型，深度学习概念由Hinton 于2006 年正式提出。经过多年的发展，问世了如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）、生成对抗网络（GAN）等经典的深度学习算法。2017 年，Transformer 架构的出现，再次开启了大语言模型快速发展时期。本报告聚焦2017 年之前出现的经典深度学习算法，并进行深度拆解和剖析。

卷积神经网络（CNN）：卷积+汇聚+全连接

典型的卷积神经网络是由卷积层、汇聚层、全连接层交叉堆叠而成。其中，卷积层利用卷积核实现特征提取，并在每个卷积层后引入非线性激活函数，确保整个网络的非线性；汇聚层通过最大汇聚或平均汇聚的方法，进一步压缩数据和参数量；全连接层采用神经网络中的前馈网络结构，经计算后得到最终输出结果。参数训练方面，卷积神经网络采用误差反向传播算法。应用方面，卷积神经网络应用已从图像识别逐渐向其他领域拓展。

循环神经网络（RNN）：具有短期记忆的神经网络循环神经网络是一类具有短期记忆能力的神经网络，其记忆来自于神经元以环路的方式接受自身的历史信息，为整个网络提供了一定的记忆能力，增强了其计算性能。但是，循环神经网络难以建模长时间间隔状态之间的依赖关系。为了解决这一问题，长短时记忆网络（LSTM）在循环神经网络的基础上引入了新的内部控制状态和门控机制。前者能够记录到当前时刻为止的历史信息，延长了网络记忆；后者包括遗忘门、输入门和输出门，分别控制“记忆”的遗忘、保存和输出细节。

生成对抗网络（GAN）：生成器和判别器的对抗与学习生成对抗网络突破了以往的概率模型必须通过最大似然估计来学习参数的限制，通过对抗训练的方式使得生成网络产生的样本服从真实数据分布。

GAN 主要由生成网络和判别网络组成。其中，判别网络目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生；生成网络目标是尽量生成判别网络无法区分来源的样本。这两个目标相反的网络不断地进行交替对抗训练。最终训练出生成结果真假难辨的生成器。

深度强化学习（DRL）：深度学习与强化学习的结合强化学习（RL）指的是从（与环境）交互中不断学习的问题以及解决这类问题的方法。强化学习通过智能体不断与环境进行交互，并根据经验调整其策略来最大化其长远的所有奖励的累积值。强化学习可分为基于值函数的方法、基于策略函数的方法，以及两者的结合。深度强化学习是深度学习与强化学习的结合，其中强化学习用来定义问题和优化目标，深度学习用来解决策略和值函数的建模问题。最早的深度强化学习模型是2013 年提出的深度Q 网络。

风险提示：宏观经济波动，技术进步不及预期。本报告内容均基于客观信息整理，不构成投资建议。

关键词