AIGC的多模态知识工程（二）

一： AIGC的历史发展

前文章我们介绍了AIGC的早期阶段，AIGC的起源，以及AIGC的理论和概念。那么这篇文章我们就简单的介绍下AIGC历史上发展的第二个阶段：沉淀积累阶段。

1.1 沉淀积累阶段

AIGC的沉淀积累阶段主要是指：20世纪90年代～21世纪10年代中期，为什么会这么划分呢？因为这期间在AI领域，发生了几件影响世界的大事。并且在这个阶段内，AIGC也开始从实验性质转向实用性，但这个时期的算法，还是有一定的瓶颈，导致实用性很差，无法直接内容生成。

1.1.1 深度神经网络

在2006年时，当时的深度学习算法、图形处理器以及张量处理器等都取得了重大的突破。2007年，世界第一部完全由人工智能创作的小说《I The Road》问世。

在几年后的，2012年微软展示全自动同声传译系统，主要基于“深度神经网络”（DeepNeural Network，DNN）自动将英文讲话内容通过语音识别等技术生成中文。

那么什么是深度神经网络呢？它又为什么可以做到内容生成呢？

其实呀，主要是靠深度神经网络，也就是DNN的监督学习算法，来实现AI学习的逻辑。在这个阶段内，2006年，，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。

• 每个连接都有个权值
• 同一层神经元之间没有连接
• 最后的输出结果对应的层也称之为全连接层FC

什么意思呢？就是每层网络的预训练均采用无监督学习，然后再利用无监督学习逐层训练每一层，然后把上一层的输出结果，作为下一层的输入，然后最后再使用有监督学习来微调所有层(加上一个用于分类的分类器)

DNN模型如下：

它总共包括三层，Layer1、Layer2、Layer3，从x1到第二层，需要一个激活函数(如下所示)。假设这个激活函数为z(x)，我们给它加上一些权重参数w1,w2,w3,w0,以及一个x0并且x0=1。

那么训练模型的过程又是如何的呢？正确的一个训练模型的过程如下：当然前期肯定要先创建好先用newff函数建立网络，再用train函数训练即可。

正向传播：输入样本－>输入层－>各隐层（处理）－>输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。

在这个过程中，神经网络通过不断调整网络的权值和阈值，达到学习、训练的目的，当网络输出的误差减少到可以接受的程度，或者预先设定的学习次数后，学习就可以停止了。