算法简介
神经网络（Neural Networks） 是受人脑启发的机器学习模型——通过层层连接的「人工神经元」，学会从数据中发现规律。
生活类比：工厂流水线
想象一个玩具工厂：原材料（输入数据）进入第一道工序，工人检查形状；第二道工序上色；第三道工序组装……每道工序（每一层）的工人（神经元）只做简单的判断，但经过多道工序后，原材料变成了精美的玩具（准确的预测）。训练就是不断调整每道工序的操作方式（权重），直到产品合格率最高。
逐步理解：
- 第一步：神经元——最小单元，接收输入 → 加权求和 → 激活函数 → 输出。像一个工人做简单的「是/否」判断
- 第二步：层——多个神经元组成一层。输入层接收数据，隐藏层提取特征，输出层给出结果
- 第三步：前向传播——数据从输入层逐层流向输出层，每层做一次变换
- 第四步：反向传播——根据预测误差，从后往前调整每层的权重（「哪道工序出了问题就调整哪道」）
交互式可视化
- 增加「隐藏层数」到 4 层，观察网络变深后激活值的变化——是否出现了全 0（梯度消失）？
- 切换「激活函数」为 Sigmoid，再切到 ReLU——ReLU 的激活更稀疏但不容易消失
- 调整「每层神经元」数量，观察连接线（权重）的变化
🎯 适用场景
- 复杂模式识别：图像识别、语音识别、自然语言处理
- 图像处理：目标检测、图像分割、人脸识别
- 语音处理：语音识别、语音合成、说话人识别
- 文本处理：机器翻译、情感分析、文本生成
- 推荐系统：个性化推荐、点击率预测
💡 经典应用：自动驾驶、智能助手、医疗影像诊断、游戏AI
📜 历史渊源
问题背景：1940年代，神经科学家发现大脑通过神经元之间的电信号传递来处理信息。一个自然的问题是：能否用数学模型模拟这个过程，让机器也能"学习"？
关键突破：1943年，McCulloch 和 Pitts 提出了第一个人工神经元数学模型。1958年，Rosenblatt 发明了感知机——第一个能从数据中学习的神经网络。但1969年，Minsky 证明感知机无法解决 XOR 问题，神经网络陷入第一次"寒冬"。直到1986年，Rumelhart 等人重新发明反向传播算法，证明多层网络可以学习任意复杂的函数，神经网络才重获新生。
深远影响：反向传播算法是现代深度学习的基石——从 CNN 到 Transformer，所有深度模型都依赖它来训练。2012年 AlexNet 在 ImageNet 上的突破引发了 AI 第三次浪潮，而这一切的起点就是那个简单的人工神经元。
趣闻：神经网络经历了三次"生死轮回"：1960s 感知机热潮→1970s 寒冬→1986 反向传播复兴→1990s 被 SVM 压制→2012 深度学习爆发。每次"复活"都比上次更强大。Hinton 坚持研究神经网络30年不动摇，最终获得2024年诺贝尔物理学奖。
🔗 发展脉络
⚠️ 局限性
- 需要大量数据：通常需要海量标注数据才能训练好
- 黑盒难解释：难以理解网络为什么做出某个决策
- 调参复杂：层数、神经元数、学习率等超参数选择困难
- 计算资源需求大：训练需要大量 GPU 资源
- 容易过拟合：参数多时容易记住训练数据
💡 这些局限催生了：迁移学习（减少数据需求）、可解释AI（增强解释性）、AutoML（自动调参）、模型压缩（减少资源需求）
🏢 工业界地位
神经网络（深度学习）已成为现代人工智能的基石：
- 科技巨头核心：Google、Meta、微软、字节跳动等的核心技术
- 计算机视觉：人脸识别、自动驾驶、医学影像
- 自然语言处理：ChatGPT、机器翻译、智能客服
- 推荐系统：抖音、淘宝、Netflix 的推荐引擎
🎯 现状：深度学习已经渗透到几乎所有 AI 应用领域。随着大语言模型（如 GPT、BERT）的兴起，神经网络正在重新定义人机交互方式。掌握神经网络是进入 AI 行业的必备技能。
数学原理
前向传播：
对于第 $l$ 层的第 $j$ 个神经元：
其中：
- $z_j^{(l)}$ 是第 $j$ 个神经元的加权输入
- $w_{ji}^{(l)}$ 是从上一层的第 $i$ 个神经元到当前层的第 $j$ 个神经元的权重
- $b_j^{(l)}$ 是偏置
- $\sigma(\cdot)$ 是激活函数
激活函数：
- ReLU: $\sigma(z) = \max(0, z)$ - 最常用，缓解梯度消失
- Sigmoid: $\sigma(z) = \frac{1}{1+e^{-z}}$ - 输出在 $(0,1)$
- Tanh: $\sigma(z) = \frac{e^z-e^{-z}}{e^z+e^{-z}}$ - 输出在 $(-1,1)$
网络架构信息
输入层: 2 个神经元
隐藏层:
输出层: 1 个神经元
总参数: 0 个权重 + 0 个偏置