机器学习主要算法全称整理

博客地址：https://www.cnblogs.com/zylyehuo/

参考 《动手学深度学习》第二版

参考 【王树森】深度强化学习(DRL)

1. ├── 机器学习 (ML) - 让计算机系统从数据中“学习”规律，无需显式编程。
2.     ├── 传统机器学习方法 (非神经网络为主)
3.     │   ├── 监督学习 (如：线性回归、逻辑回归、SVM、决策树、随机森林)
4.     │   ├── 无监督学习 (如：K-Means聚类、PCA降维)
5.     │   ├── 强化学习 (如：Q-Learning)
6.     │   └── ... (其他算法，如朴素贝叶斯、KNN等)
7.     │
8.     └── （人工）神经网络 ((A)NN) - 受生物大脑启发的计算模型，由大量互联的“神经元”（节点）组成。
9.         ├── 浅层神经网络 (通常指1-2个隐藏层)
10.         │   ├── 感知机 (Perceptron)
11.         │   └── 多层感知机 (MLP) - 最常见的浅层NN，用于分类/回归。
12.         │
13.         └── 深度学习 (DL) - 使用深度神经网络（DNN）的机器学习子集，通常指包含多个（>=3）隐藏层的NN。
14.             ├── 卷积神经网络 (CNN) - 专为图像、视频等网格数据设计。
15.             ├── 循环神经网络 (RNN) - 专为序列数据（文本、语音、时间序列）设计。
16.             ├── 长短期记忆网络 (LSTM) / 门控循环单元 (GRU) - RNN的改进，解决长序列依赖问题。
17.             ├── 生成对抗网络 (GAN) - 用于生成新数据（如图像、音乐）。
18.             ├── 变换器 (Transformer) - 革命性的架构，主导现代NLP（如BERT, GPT系列），也用于CV。
19.             └── ... (其他深度架构，如自编码器、深度信念网络等)

复制代码

MLP

• 感知机 -- Perceptron
  
• 多层感知机 -- MLP -- Multi-Layer Perceptron
  

CNN（通常用于图片）

• 卷积神经网络 -- CNN（可以看做简化版的 Self-attention） -- Recurrent NeConvolutional Neural Networks
  
• 经典卷积神经网络 -- LeNet
  
• 现代深度卷积神经网络 -- AlexNet
  
• 使用块的网络（视觉几何组） -- VGG -- visual geometry group
  
• 网络中的网络 -- NiN -- NetWork In NetWork
  
• 含并行连结的网络 -- GoogLeNet
  
• 残差网络 -- ResNet -- Residual Neural Network
  
• 稠密连接网络 -- DenseNet
  
• 单发多框检测 -- SSD（用于目标检测） -- Single Shot MultiBox Detector
  
• 区域卷积神经网络 -- R-CNN -- region-based CNN 或 regions with CNN features
  
• 快速的基于区域的卷积神经网络 -- Fast R-CNN -- Fast Region-based Convolutional Network
  
• 全连接卷积神经网络 -- FCN -- Fully Convolutional Network
  
• YOLO -- You Only Look Once
  

RNN（通常用于文本）

• 循环神经网络 -- RNN -- Recurrent Neural Network
  
• 门控循环单元 -- GRU -- Gate Recurrent Unit
  
• 长短期记忆网络 -- LSTM -- Long Short-Term Memory
  
• 深度循环神经网络 -- DRNN -- Deep Recurrent Neural Network
  
• 双向循环神经网络 -- BiRNN -- Bidirectional Recurrent Neural Network
  
• 双向长短期记忆网络 -- BiLSTM（由前向LSTM与后向LSTM组合而成）-- Bi-directional Long Short-Term Memory
  
• 序列到序列模型 -- Seq2Seq -- Sequence to Sequence
  
• 束搜索 -- Beam Search
  

注意力机制

• Nadaraya-Watson 核回归
  
• 单向对齐限制的可微注意力模型 -- Bahdanau Attention（Seq2Seq的发展）
  
• 多头注意力 -- Multi-head Attention
  
• 自注意力 -- Self-attention
  
• 多头自注意力 -- Multi-head Self-attention
  
• Transformer（纯使用注意力的编码-解码器）
  
• 来自Transformers的双向编码器表示 -- BERT（基于微调的 NLP 模型） -- Bidirectional Encoder Representation from Transformers（只有编码器的 Transformer）
  

优化算法

• 随机梯度下降法 -- SGD -- Stochastic Gradient Descent
  
• 动量法 -- momentum
  
• Adam算法
  

RL

• 强化学习 -- RL -- Reinforcement learning
  
• 价值学习 -- Value-Based Reinforcement Learning
  
• 深度Q网络 -- DQN -- Deep Q Network
  
• 时序差分学习 -- TD -- Temporal Difference Learning
  
• 策略学习 -- Policy-Based Reinforcement Learning
  
• 策略神经网络 -- Policy Network
  
• AC -- Actor-Critic Method（Policy Network + Value Network）
  
• 阿尔法围棋 -- AlphaGo
  
• 蒙特卡罗算法 -- Monte Carlo Algorithms
  
• 蒙特卡洛树搜索 -- MCTS -- Monte Carlo Tree Search
  
• Sarsa（基于TD算法） -- State-Action-Reward-State-Action
  
• Q​-learning（基于TD算法）
  
• Multi-Step TD Target
  
• 经验回放 -- Experience Replay
  
• 优先经验回放 -- Prioritized Experience Replay
  
• 拔靴法 -- Bootstrapping
  
• 目标网络 -- Target Network
  
• Double DQN -- Deep Reinforcement Learning with Double Q-learning
  
• 对抗深度强化学习网络 -- Dueling Network
  
• REINFORCE with Baseline
  
• A2C（结合了演员-评论家（Actor-Critic）框架和优势函数（Advantage Function）） -- Advantage Actor-Critic
  
• 异步优势动作评价 -- A3C -- Asynchronous Methods for Deep Reinforcement Learning
  
• 离散控制 -- Discrete Control
  
• 连续控制 -- Continuous Control
  
• 确定策略梯度 -- DPG（解决连续控制问题） -- Deterministic Policy Gradient
  
• 置信域策略优化 -- TRPO -- Trust Region Policy Optimization
  
• 多智能体强化学习 -- MARL -- Multi-Agent Reinforcement Learning
  
• 纳什均衡 -- Nash Equilibrium
  
• 完全去中心化 -- Fully decentralized
  
• 完全中心化 -- Fully centralized
  
• 集中训练，分散执行 -- centralized training with decentralized execution
  
• 近端策略优化 -- PPO -- Proximal Policy Optimization
  
• 逆强化学习 -- IRL --Inverse Reinforcement Learning
  

IL

• 模仿学习 -- IL -- Imitation Learning
  
• 行为克隆 -- BC -- Behavior Cloning
  
• 生成式对抗模仿学习（ -- GAIL --Generative Adversarial Imitation Learning
  

SNN

• 脉冲神经网络 -- SNN -- Spiking Neural Network
  
• 脉冲编码 -- spike coding
  

Others

• 线性层 -- Linear
  
• 全连接层 -- FC（与 "Linear" 的含义相同） -- Fully connected layer
  
• 前馈神经网络 -- FFN -- Fast-forward network
  
• K-近邻算法 -- kNN -- k-nearest neighbor classification
  
• 锚框 -- anchor box
  
• 交并比 -- IoU -- intersection over union
  
• 非极大值抑制 -- NMS -- Non-Maximum Suppression
  
• 转置卷积 -- transposed convolution
  
• 图神经网络 -- GNN -- Graph Neural Network
  
• 词嵌入 -- word2vec
  
• 人工神经网络 -- ANN -- Artificial Neural Network
  
• 神经网络 -- NN（ANN 的简称） -- Neural Network
  
• 生成对抗网络 -- GAN -- Generative Adversarial Network
  
• 深度卷积生成对抗网络 -- DCGAN -- Deep ConvolutionGenerative Adversarial Network
  
• 马尔可夫决策过程 -- MDP -- Markov Decision Process
  
• 有监督学习 -- Supervised Learning）
  
• 无监督学习 -- Unsupervised Learning
  
• 半监督学习 -- Semi-supervised Learning
  

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！