轻松客观认识大模型系列第二篇

“我正参与「程序编写·启航计划」”

这个是我有关《轻松客观认识大模型系列》第二篇

五、什么叫深度神经网络

深度神经网络还可以在电路板上添加电阻器跟门之外元素，比如在电源的正中间添加计算能力，将好几个值求和或乘积之后再往前传送电子信号。但深度神经网络依然应用同样的基本上增加量手段来猜想主要参数。

六、什么是语言实体模型

我们以前举的车辆例子中，人们尝试让神经元网络的举动和我们的数据信息一致。大家在了解能否创建一个电源电路，以类似司机在相似前提下实际操作车辆的方式去控制车辆。我们能用这样的方法看待语言表达。大家可以看一下人们整理的文字，思索能否创建一个电源电路，产生一个看起来很像人们侧重于造成的英语单词编码序列。如今，在我们见到英语单词时，我们自己的感应器便会开启，我们自己的导出体制也是题目。

大家在学着做哪些？我们正试着创建一个电源电路，给出一堆键入英语单词，猜想一个导出英语单词。比如：

“Once upon a __”

如果你不太熟悉这一标记，不必担心。那只是数学术语，代表着给出“once”，“upon”和“a”这些单词，英语单词“time”的几率（P）。我希望一个好的语言实体模型比英语单词“armadillo”造成更高几率。

大家可将其推广到：

大概的意思是测算在给出前边所有单词（从第一个单词第n-1个词）的情形下，编码序列中第n个词发生的几率。但使我们返回一点。想一想那类有敲击臂的旧式打印机。

除开并不是每个英文字母都有一个不同类型的敲打臂以外，我们所有单词配置一个敲打器。如果英语有50,000个词，那样这是一个庞大打印机！

有别于车辆的互联网，想像一个相似的互联网，其实除了电源的顶端有50,000个导出传送到敲打器臂，所有单词对应一个敲打器。随之，大家把有50,000个感应器，每一个传感器测量不一样键入词汇的存有。因而，最后大家所作的是选择一个电子信号最强大的敲打臂，这便是填空题的英语单词。

如今，假如我要制作一个简单电路，以键入一个单词从而产生一个单词导出，我不得不制作一个具备50,000个传感器50,000个输出电源电路（所有单词一个）。我只需要将每一个感应器传送到每一个敲打臂，累计必须%2050,000%20x%2050,000%20=%2025亿根输电线。

这真是一个庞大电子信息工程！

更严重的是，假如我想要做“Once upon a ___”这个案例，我们需要感知到三个键入区域的所有单词。我们需要 50,000 x 3 = 150,000 个感应器。传送到 50,000 个电脑打字臂，那就需要 150,000 x 50,000 = 7.5 十亿个电缆线。截止到2023年，大部分大中型语言模型能够键入4,000个词，较大的朋友可以键入32,000个词。眼睛也要花掉了。

我们应该一些技巧来解决问题。我们将要逐渐开展。

6.1 伺服电机

我们能做的第一件事是把电源电路分两电源电路，一个称之为伺服电机，另一个称之为视频解码器。我们自己的一个洞悉是，很多句子的意思基本相同。考虑到下列语句：

The king sat on the ___
The queen sat on the ___
The princess sat on the ___
The regent sat on the ___

事实上，许多句子的意思差不太多。比如，“君王”，“女神”和“皇上”都是有有关皇家或权利的意味。因而，我们可以用一个正中间的东西了（例如“君权”）来描述这些单词所代表权利这个概念。那样，我们只需考虑到什么句子的意思差不太多，随后确定给正中间的东西了（“君权”）是多少电子信号动能。这相当于把自己的“君权”有关的英语单词都归入同一个种类里。这一过程便是编号。

因而，我们要做的就是建立一个电源电路，这将50,000个词汇的感应器映射到一些较小的导出集中化，比如256个而非50,000个。并且，大家不仅可以开启一个电脑打字臂，而且能与此同时开启一堆电脑打字臂。每一个可能性的电脑打字臂组成都能够表明不一样这个概念（如“皇家”或“有铠甲的哺乳类动物”）。这256个导出将导致我们可以表明2²⁵⁶ = 1.15 x 10⁷⁸个定义。事实上，也有无限的可能性，由于如同车辆实例中我们可以把刹车踏板一部分按住，每一个256个导出不但能是1.0或0.0，也可以是两者之间的一切数据。因而，或许更强比喻是所有256个电脑打字臂都已经被按住，但是每个电脑打字臂按住的幅度不一样。

好一点的...之前所有单词需要一个50,000个感应器之一开启。如今，己经将一个触发的传感器49,999个取消的感应器缩减到256个数据。因而，“king”有可能是[0.1，0.0，0.9，...，0.4]，“queen”有可能是[0.1，0.1，0.9，...，0.4]，他们基本上同样。我们将这些数字目录称之为编号（又称为掩藏情况，出自于历史因素，我不想表述这一点，因而我们将要坚持用编号）。大家称将50,000个感应器缩小为256个输出电源电路为伺服电机。它看起来像是那样：

6.2 视频解码器

可是伺服电机根本无法告诫我们下一个英语单词是什么样的。因而，我们将要伺服电机与视频解码器互联网匹配。视频解码器是另一个电源电路，它接纳编号所需要的256个数据，并激话最原始的50,000个碰撞臂之一，以出现下一个英语单词。随后，我们将要挑选输出电压最大的英语单词。以下是视频解码器的平面图：

6.3 伺服电机和视频解码器一起使用

这也是伺服电机和视频解码器一起工作所形成的一个大中型神经元网络：

顺带提一句，针对英语单词导入到英语单词输出编号，只需%20(50,000%20x%20256)%20x%202%20=%2025,600万只主要参数。看上去效果非常好。

这个案例就是针对一个单词键入和一个单词输出状况，假如我们想载入n个词，那样键入便是50,000%20x%20n，编号导出便是256%20x%20n。

可是怎么会起作用吗？根据强制性使50,000个词适合一工作组数据，大家驱使互联网作出让步并把很有可能开启同样导出猜想的英语单词组合在一起。这特别像压缩照片。当你缩小文本文件时，也会得到一个不可读的比较小文本文档。可是大家可以缓解压力文本文档并修复初始可读文本。主要是因为缩小程序流程应用缩写标记更换一些英语单词方式。之后在压缩包解压时，它知道该用哪种文原本更换缩写标记。我们自己的伺服电机和视频解码器电源电路学了一种电阻跟门配置，能够对英语单词开展压缩和解压缩。