深度学习

• 人工智能（Artificial Intelligence）属于计算机科学的分支，是让各类机器载体上模拟并拥有类似生物的智能，让机器可以进行感知、学习、识别、推理等行为的计算机科学技术。

• 机器学习（Machine Learning,ML）是实现人工智能的核心方法，传统的机器学习主要关注如何学习一个预测模型，将数据表示为特征后将特征输入到预测模型，并输出预测结果。现代机器学习则主要由神经网络来完成。

• 神经网络（Neural Network,NN）是机器学习的一个分支，主要关注如何使用神经网络来学习数据的表示，并使用这些表示来完成各种通用类型的任务。

• 深度学习（Deep Learning,DL）是神经网络的一个分支，主要关注如何使用层数较多的且参数较多的神经网络来学习数据。

下面是一个只用加减乘除实现求某数平方根的示例：

# 我们要求解的数
target_number = 17.0

# 初始化权重（我们的猜测值）
weight = 1

# 超参数
learning_rate = 0.01  # 学习率
epochs = 1000        # 训练轮数

# 训练过程
for epoch in range(epochs):
    # 前向传播: 计算预测值 (weight * weight 应该等于 target_number)
    prediction = weight * weight
    
    # 计算损失: 均方误差 (MSE)
    loss = (prediction - target_number) ** 2

    # 反向传播: 计算损失（loss）对权重（weight）的梯度
    gradient = 2 * (prediction - target_number) * 2 * weight
    
    # 更新权重 (梯度下降)
    weight = weight - learning_rate * gradient

# 最终结果
print(f"\n训练后的平方根估计值: {weight}")
print(f"误差: {target_number - prediction}")

上述代码展示了机器学习的核心概念：

1. 学习率：控制每次参数更新的步长
2. 前向传播：使用当前权重进行预测
3. 损失计算：衡量预测值与目标值之间的差距
4. 反向传播：计算损失对权重的梯度
5. 梯度下降：沿梯度方向更新权重，最小化损失函数

这个简单的例子虽然不是典型的神经网络，但展示了机器学习的基本原理：通过不断调整参数，使模型输出逐渐接近目标值。

不同的接近方法即为不同的算法，要注意，没有一个算法是万能的，需要根据具体问题选择合适的算法。“All models are wrong, but some are useful.”^?

如果数据较大，则必须要对数据做各种预处理，数据的质量决定了模型的上限。这也是一个非常耗费时间且需要经验的工作。

现代深度学习往往需要大量的算力，如何高效的利用算力，也是一个方向，例如分布式训练、混合精度训练、模型剪枝、知识蒸馏、高效微调等。

PyTorch

在我们这个时代有许多优秀的机器学习框架，其中pytorch明显优于其他框架。

许多著名的深度学习模型和框架都是基于 PyTorch（Torch）二次开发的。例如：YOLOv11、Transformers (Hugging Face)、Stable Diffusion等。还有一些开源项目使用pytorch构建出可用的多模态大模型。上限非常高。

PyTorch 可以利用计算加速设备（例如GPU、NPU），为了达成这一目的，PyTorch 的安装会绑定对应的cuda版本，PyTorch 使用 cuda 的接口来操作底层硬件。

info

CUDA：NVIDIA 专为自家 GPU 设计的 C++ 并行计算框架，其运行依赖于 NVIDIA 显卡驱动程序。它允许开发者利用 GPU 强大的并行计算能力加速各类计算密集型任务。能把复杂的计算任务（比如矩阵乘法、神经网络运算）翻译成GPU能理解的指令。没有CUDA，GPU只能处理简单的图形渲染，无法参与深度学习的计算。

cuDNN：cuDNN 是专门为深度学习优化的“外挂包”，它基于 CUDA 开发，针对神经网络的关键操作（如卷积、池化层）做了极致优化，相当于给数学天才（GPU）配了一把趁手的“瑞士军刀”。如果用原始 CUDA 开发大模型，就像用菜刀切牛排——能切但效率低。cuDNN直接提供预制好的高效函数，比如把图像识别中的卷积运算速度提升2倍以上，还能减少内存占用，让大模型跑得更流畅。

CUDA Toolkit (NVIDIA 官方版)：完整的 CUDA 开发环境，包含：

• NVIDIA 显卡驱动程序
• NVCC：NVIDIA CUDA 编译器，是 CUDA Toolkit 的核心组件，负责将 CUDA 代码编译为可在 NVIDIA GPU 上执行的二进制代码。
• 完整的 CUDA 开发工具链（编译器、IDE、调试器等）
• 各种 CUDA 加速库及其头文件
• 文档和示例代码

CUDA Toolkit (PyTorch 版)：精简版 CUDA 工具包，主要包含：

• 运行 CUDA 功能所需的核心动态链接库
• 不包含驱动程序、开发工具及完整文档
• 专为支持 PyTorch 等框架的 CUDA 功能而设计

不过同样的测试代码，在WSL2中安装的cuda对显卡性能会存在一定的影响。

# windows原生环境
name: NVIDIA GeForce RTX 3090 Ti
write speed: 5063.91 MB/s
read speed: 5565.53 MB/s

# windows下的WSL2 Ubuntu-24.04 环境
name: NVIDIA GeForce RTX 3090 Ti
write speed: 2632.96 MB/s
read speed: 4429.29 MB/s

torch框架

torchvision

torchvision 是 PyTorch 项目的一部分。由流行的数据集、模型架构和计算机视觉的常见图像转换组成。

这些数据集包括了各种类型的数据，如图像、文本、音频等，可以用于各种任务，如分类、回归、聚类等。

安装：pip install torchvision

数据集名称	加载方法	模型类型	数据大小(样本数*特征数)
MNIST	torchvision.datasets.MNIST	分类	70000*784
CIFAR-10	torchvision.datasets.CIFAR10	分类	60000*3072
Fashion MNIST	torchvision.datasets.FashionMNIST	分类	70000*784

import torchvision.datasets as datasets
# 加载数据集
train_dataset = datasets.MNIST(root='./data', train=True, download=True)
test_dataset = datasets.MNIST(root='./data', train=False, download=True)

torchtext

简化文本数据处理（分词/词嵌入/标记化）,内置 NLP 数据集（IMDB 影评等）

安装：pip install torchtext

  # 情感分析快速实现
  from torchtext.data import Field, TabularDataset
  
  TEXT = Field(tokenize='spacy')
  LABEL = Field(sequential=False)
  train_data = TabularDataset(path='train.csv', format='csv', 
                             fields=[('text', TEXT), ('label', LABEL)])

Ignite

训练流程管理库，可以简化训练循环代码、内置进度条/早停/模型保存等实用功能、官方示例丰富

安装：pip install pytorch-ignite

from ignite.engine import Events, create_supervised_trainer

trainer = create_supervised_trainer(model, optimizer, loss_fn)

@trainer.on(Events.ITERATION_COMPLETED(every=100))
def log_loss(engine):
    print(f"Epoch {engine.state.epoch}, Loss: {engine.state.output:.2f}")

机器学习步骤

数据清洗

数据决定着模型预测的上界，模型则是尽可能达到这个上界。

特征工程

好的特征工程就像是衡量人的体重是否超标时，构造出BMI。这种数据直觉是AI较难替代的。

$$BMI = \text{体重}_{\text{kg}} / (\text{身高}_{\text{m}})^2$$

模型参数调节

至少从抽象层面上了解每个模型的工作原理，才能理解参数的含义。

模型融合

实在没有办法提升性能，可以试试多模型融合，模型是可以互补的。

📄️ 传统机器学习

传统机器学习是机器学习的一个分支，主要关注如何使用传统的机器学习算法来解决分类、回归、聚类等问题。

📄️ OpenCV

早期计算机处理的数据有2种：文本数据、图像数据。其中文本数据又称为序列数据，图像数据又称为网格数据。

📄️ MLP

凡是模仿人的神经网络构建出来的数学模型，都叫神经网络，或者人工神经网络。

📄️ 经典论文

LeNet-5

📄️ Transformer

伟大无需多言。

📄️ Vision Transformer

在现代深度学习中，文本、图片、音频、视频都是序列。