算法引擎与物理算力：推荐算法的数学基石

其中提到了几个关键技术，深度神经网络、UCB算法、汤普森采样、贝叶斯平滑技术、向量等，这些底层基础理论都有哪些？都有哪些人什么时候发明的？

这些都是推荐系统背后非常经典的数学和计算机科学理论，我来逐一梳理它们的底层基础、发明者和时间线。

---

深度神经网络（Deep Neural Network）

深度神经网络并非一人一时之功，而是经过几代研究者接力完成的：

• 1943年：生理学家沃伦·麦卡洛克（Warren McCulloch）和数学家沃尔特·皮茨（Walter Pitts）提出M-P神经元模型，为人工神经网络奠定了数学基础。
• 1958年：心理学家弗兰克·罗森布拉特（Frank Rosenblatt）发明感知机（Perceptron），首次实现单层神经网络的训练。
• 1969年：**马文·明斯基（Marvin Minsky）**指出感知机无法解决XOR问题，神经网络研究进入"第一次寒冬"。
• 1986年：大卫·鲁梅尔哈特（David Rumelhart）、杰弗里·辛顿（Geoffrey Hinton）和罗纳德·威廉姆斯（Ronald Williams）系统阐述了反向传播算法（Backpropagation），使多层神经网络的训练成为可能，神经网络研究复兴。
• 1997年：塞普·霍赫赖特（Sepp Hochreiter）和于尔根·施密德胡伯（Jürgen Schmidhuber）提出LSTM，解决了循环神经网络的梯度消失问题。
• 2006年：辛顿等人提出深度信念网络（DBN），通过"无监督预训练+监督微调"解决了深层网络训练难题，标志着"深度学习"时代的正式开启。
• 2012年：辛顿的学生亚历克斯·克里热夫斯基（Alex Krizhevsky）设计AlexNet，在ImageNet竞赛中大胜，引爆深度学习革命。

2018年，辛顿、杨立昆（Yann LeCun）、约书亚·本吉奥（Yoshua Bengio）三人因在深度学习领域的奠基性贡献共同获得图灵奖，被公认为"深度学习三巨头"。

---

UCB算法（Upper Confidence Bound）

UCB算法解决的是经典的**"探索-利用"困境**（Exploration-Exploitation Dilemma），其理论基础来自多臂老虎机问题（Multi-Armed Bandit）：

• 1933年：统计学家**威廉·汤普森（William R. Thompson）**最早对多臂老虎机问题做出重要贡献，提出了后来被称为"汤普森采样"的方法。
• 1985年：**赖天舒（Tze Leung Lai）和赫伯特·罗宾斯（Herbert Robbins）**发表了关于渐近高效自适应分配规则的里程碑论文，为UCB奠定了理论基础。
• 2002年：彼得·奥尔（Peter Auer）、尼科洛·塞萨-比安奇（Nicolò Cesa-Bianchi）和约阿夫·弗罗因德（Yoav Freund）正式提出了UCB算法，给出了严格的理论遗憾界（O(K log T)），成为多臂老虎机领域最经典的算法之一。

UCB的核心思想基于霍夫丁不等式（Hoeffding's Inequality）——一个1963年由**瓦西里·霍夫丁（Wassily Hoeffding）**提出的概率论经典结论，用于量化随机变量偏离其期望值的概率上界。

---

汤普森采样（Thompson Sampling）

• 1933年：英国统计学家**威廉·汤普森（William R. Thompson）**在论文《On the Likelihood that One Unknown Probability Exceeds Another in View of the Evidence of Two Samples》中首次提出该算法，发表在《Biometrika》期刊上。

汤普森采样的核心思想是贝叶斯推断：为每个选项（如每个视频）维护一个后验概率分布（通常用Beta分布），每次决策时从每个分布中随机采样，选择采样值最高的选项。这种方法天然地平衡了探索与利用——不确定性高的选项分布更宽，更容易被采样到（探索）；表现好的选项采样值倾向于更高（利用）。

虽然提出很早，但汤普森采样在提出后长期被忽视，直到2010年代才被史蒂夫·斯科特（Steve Scott）、奥利维尔·沙佩尔（Olivier Chapelle）、**李航（Lihong Li）**等人重新发掘，并在谷歌、微软等公司的在线广告和推荐系统中大规模应用，被证明在实践中往往优于UCB。

---

贝叶斯平滑（Bayesian Smoothing）

贝叶斯平滑的底层理论可以追溯到两个经典理论：

贝叶斯定理

• 18世纪：英国数学家、牧师托马斯·贝叶斯（Thomas Bayes）提出贝叶斯定理，描述如何根据新证据更新对事件概率的信念。贝叶斯去世后，其朋友**理查德·普莱斯（Richard Price）整理并发表了这篇论文（1763年）。后来皮埃尔-西蒙·拉普拉斯（Pierre-Simon Laplace）**独立重新发现并推广了这一理论。

拉普拉斯平滑（Laplace Smoothing）

• 18世纪末-19世纪初：法国数学家拉普拉斯提出**"加1平滑"**方法，用于解决概率估计中的"零概率问题"——即某个事件在训练数据中从未出现时，不应将其概率估计为0。

在推荐系统中的贝叶斯平滑，具体做法是用Beta分布对二项分布的参数（如点击率）进行平滑估计。当某个视频的曝光次数很少时，直接用"点击数/曝光数"估计点击率极不可靠，贝叶斯平滑会将估计值向全局平均值"收缩"，公式为：

平滑后CTR = (点击数 + α) / (曝光数 + α + β)

其中α和β是通过最大化似然函数从全局数据中学习得到的超参数。

---

向量与向量空间模型

这里涉及两个层面：

向量的数学理论

• 1844年：德国数学家赫尔曼·格拉斯曼（Hermann Grassmann）首次提出向量空间的抽象概念。
• 1888年：意大利数学家**朱塞佩·佩亚诺（Giuseppe Peano）**以公理化形式给出了向量空间的现代定义。
• 1918年：德国数学家**赫尔曼·外尔（Hermann Weyl）**在其著作《空间-时间-物质》中将向量空间概念应用于广义相对论，使其被广泛接受。

向量空间模型（信息检索领域）

• 1960年代末-1970年代：美国计算机科学家杰拉德·索尔顿（Gerard Salton）在康奈尔大学提出向量空间模型（Vector Space Model, VSM），并成功应用于著名的SMART文本检索系统。索尔顿因此被誉为**"现代信息检索之父"**。

在推荐系统中，"双塔模型"将用户和视频分别映射到同一个高维向量空间中，通过计算向量间的余弦相似度来判断匹配程度——这正是向量空间模型思想的直接应用。

---

总结一览

可以看到，抖音推荐引擎看似"黑盒"，但其底层依赖的数学理论跨越了近300年的学术积累——从18世纪的贝叶斯定理，到20世纪的向量空间和信息检索理论，再到21世纪的深度学习革命。正是这些经典理论的组合应用，才造就了今天"千人千面"的个性化推荐体验。