PyTorch 是一个优化的张量库，用于使用 GPU 和 CPU 进行深度学习。
Python API
| 序号 | API | 名称 | 解释 |
|---|
| 1 | torch | PyTorch 核心库(中文:火炬) | PyTorch 的核心库，提供了张量操作、自动求导等基础功能。 |
| 2 | torch.nn | 神经网络模块 | 包含构建神经网络所需的各种模块，如层、损失函数等。 |
| 3 | torch.nn.functional | 神经网络函数 | 提供了许多与神经网络相关的函数，如激活函数、卷积操作等。 |
| 4 | torch.Tensor | 张量 | PyTorch 中用于表示多维数组的基本数据结构。 |
| 5 | Tensor Attributes | 张量属性 | 用于描述张量的各种特性，如形状、数据类型等。 |
| 6 | Tensor Views | 张量视图 | 提供对张量数据的不同视角，不改变底层数据。 |
| 7 | torch.amp | 自动混合精度 | 用于在训练过程中自动混合使用单精度和半精度浮点数，以提高训练效率。 |
| 8 | torch.autograd | 自动求导 | 实现自动计算梯度的功能，是 PyTorch 实现反向传播的基础。 |
| 9 | torch.library | 库 | 用于管理和组织自定义操作和函数。 |
| 10 | torch.accelerator | 加速器 | 用于支持不同的硬件加速器，如 GPU、TPU 等。 |
| 11 | torch.cpu | CPU | 表示使用中央处理器进行计算。 |
| 12 | torch.cuda | CUDA | 用于支持 NVIDIA GPU 计算的库。 |
| 13 | Understanding CUDA Memory Usage | 理解 CUDA 内存使用情况 | 帮助用户了解和管理 CUDA 设备上的内存使用。 |
| 14 | Generating a Snapshot | 生成快照 | 用于生成 CUDA 内存使用的快照。 |
| 15 | Using the visualizer | 使用可视化工具 | 借助可视化工具查看 CUDA 内存使用情况。 |
| 16 | Snapshot API Reference | 快照 API 参考 | 提供生成和管理 CUDA 内存快照的 API 文档。 |
| 17 | torch.mps | 苹果 Metal Performance Shaders | 用于在苹果设备上利用 Metal 进行加速计算。 |
| 18 | torch.xpu | XPU（通用加速器） | 可指代不同类型的硬件加速器。 |
| 19 | torch.mtia | Meta 张量内存集成架构 | Meta 相关的张量内存管理架构。 |
| 20 | torch.mtia.memory | Meta 张量内存管理 | Meta 架构下的张量内存管理模块。 |
| 21 | Meta device | Meta 设备 | Meta 相关的计算设备抽象。 |
| 22 | torch.backends | 后端 | 管理不同的计算后端，如 CUDA、MKL 等。 |
| 23 | torch.export | 导出 | 用于将 PyTorch 模型导出为其他格式。 |
| 24 | torch.distributed | 分布式计算 | 支持在多个设备或节点上进行分布式训练。 |
| 25 | torch.distributed.tensor | 分布式张量 | 用于在分布式环境下处理张量。 |
| 26 | torch.distributed.algorithms.join | 分布式算法联合 | 与分布式算法的联合操作相关。 |
| 27 | torch.distributed.elastic | 弹性分布式训练 | 支持在分布式训练中动态调整节点数量。 |
| 28 | torch.distributed.fsdp | 完全分片数据并行 | 一种分布式训练策略，可减少内存使用。 |
| 29 | torch.distributed.fsdp.fully_shard | 完全分片 | FSDP 中的完全分片操作。 |
| 30 | torch.distributed.tensor.parallel | 分布式张量并行 | 在分布式环境下进行张量并行计算。 |
| 31 | torch.distributed.optim | 分布式优化器 | 用于在分布式训练中进行参数优化。 |
| 32 | torch.distributed.pipelining | 分布式流水线 | 支持分布式训练中的流水线并行。 |
| 33 | torch.distributed.checkpoint | 分布式检查点 | 用于在分布式训练中保存和恢复模型状态。 |
| 34 | torch.distributions | 概率分布 | 提供各种概率分布类，用于生成随机样本和计算概率。 |
| 35 | torch.compiler | 编译器 | 用于对 PyTorch 模型进行编译优化。 |
| 36 | torch.fft | 快速傅里叶变换 | 实现快速傅里叶变换相关操作。 |
| 37 | torch.func | 函数式编程 | 支持 PyTorch 的函数式编程风格。 |
| 38 | torch.futures | 异步执行 | 用于异步执行任务和处理未来结果。 |
| 39 | torch.fx | 函数式中间表示 | 用于对 PyTorch 模型进行符号化表示和转换。 |
| 40 | torch.fx.experimental | 实验性 FX 功能 | 包含一些处于实验阶段的 FX 相关功能。 |
| 41 | torch.hub | 模型仓库 | 提供预训练模型的下载和使用功能。 |
| 42 | torch.jit | 即时编译 | 用于将 PyTorch 模型编译为可执行代码，提高运行效率。 |
| 43 | torch.linalg | 线性代数 | 提供线性代数相关的操作，如矩阵乘法、求逆等。 |
| 44 | torch.monitor | 监控 | 用于监控 PyTorch 程序的运行状态。 |
| 45 | torch.signal | 信号处理 | 提供信号处理相关的操作。 |
| 46 | torch.special | 特殊函数 | 包含一些特殊的数学函数。 |
| 47 | torch.overrides | 操作重载 | 用于重载 PyTorch 的操作符。 |
| 48 | torch.package | 模型打包 | 用于将 PyTorch 模型及其依赖打包。 |
| 49 | torch.profiler | 性能分析器 | 用于分析 PyTorch 程序的性能瓶颈。 |
| 50 | torch.nn.init | 参数初始化 | 提供神经网络参数的初始化方法。 |
| 51 | torch.nn.attention | 注意力机制 | 用于实现注意力机制相关的模块。 |
| 52 | torch.onnx | ONNX 导出 | 用于将 PyTorch 模型导出为 ONNX 格式。 |
| 53 | torch.optim | 优化器 | 提供各种优化算法，如 SGD、Adam 等。 |
| 54 | Complex Numbers | 复数 | 支持复数运算的相关功能。 |
| 55 | DDP Communication Hooks | 分布式数据并行通信钩子 | 用于自定义分布式数据并行训练中的通信行为。 |
| 56 | Quantization | 量化 | 用于将模型参数和计算进行量化，以减少内存使用和提高推理速度。 |
| 57 | Distributed RPC Framework | 分布式远程过程调用框架 | 支持在分布式环境下进行远程过程调用。 |
| 58 | torch.random | 随机数生成 | 用于生成随机数。 |
| 59 | torch.masked | 掩码操作 | 支持使用掩码对张量进行操作。 |
| 60 | torch.nested | 嵌套张量 | 用于处理嵌套结构的张量。 |
| 61 | torch.Size | 张量大小 | 表示张量的形状。 |
| 62 | torch.sparse | 稀疏张量 | 用于处理稀疏数据的张量类型。 |
| 63 | torch.Storage | 存储 | 表示张量数据的底层存储。 |
| 64 | torch.testing | 测试工具 | 提供用于测试 PyTorch 代码的工具。 |
| 65 | torch.utils | 工具包 | 包含各种实用工具函数和类。 |
| 66 | torch.utils.benchmark | 基准测试 | 用于对 PyTorch 代码进行基准测试。 |
| 67 | torch.utils.bottleneck | 性能瓶颈分析 | 帮助找出 PyTorch 程序的性能瓶颈。 |
| 68 | torch.utils.checkpoint | 检查点机制 | 用于减少内存使用的检查点技术。 |
| 69 | torch.utils.cpp_extension | C++ 扩展 | 用于编写和使用 PyTorch 的 C++ 扩展。 |
| 70 | torch.utils.data | 数据处理 | 提供数据加载和处理的工具。 |
| 71 | torch.utils.deterministic | 确定性计算 | 确保 PyTorch 计算的结果具有确定性。 |
| 72 | torch.utils.jit | JIT 工具 | 与即时编译相关的实用工具。 |
| 73 | torch.utils.dlpack | DLPack 支持 | 用于与其他深度学习框架进行数据交换。 |
| 74 | torch.utils.mobile_optimizer | 移动优化器 | 用于优化 PyTorch 模型在移动设备上的性能。 |
| 75 | torch.utils.model_zoo | 模型库 | 提供预训练模型的管理和下载。 |
| 76 | torch.utils.tensorboard | TensorBoard 集成 | 用于将 PyTorch 训练过程可视化到 TensorBoard 中。 |
| 77 | torch.utils.module_tracker | 模块跟踪器 | 用于跟踪 PyTorch 模块的使用情况。 |
| 78 | Type Info | 类型信息 | 提供 PyTorch 数据类型的相关信息。 |
| 79 | Named Tensors | 命名张量 | 支持为张量的维度命名，提高代码可读性。 |
| 80 | Named Tensors operator coverage | 命名张量操作覆盖范围 | 表示命名张量支持的操作范围。 |
| 81 | torch.config | 配置信息 | 提供 PyTorch 的配置信息。 |
| 82 | torch.future | 未来特性 | 包含一些处于实验阶段的未来特性。 |
| 83 | torch._logging | 日志记录 | 用于 PyTorch 的日志记录功能。 |
| 84 | Torch Environment Variables | Torch 环境变量 | 用于配置 PyTorch 运行环境的变量。 |
Libraries
| 序号 | LIB | 名称 | 解释 |
|---|
| 1 | torchaudio | 音频处理库 | 用于音频数据的处理、加载和模型训练。 |
| 2 | TorchData | 数据处理库 | 提供数据加载和处理的工具和接口。 |
| 3 | TorchRec | 推荐系统库 | 用于构建和训练推荐系统模型。 |
| 4 | TorchServe | 模型服务库 | 用于将 PyTorch 模型部署为服务。 |
| 5 | torchtext | 文本处理库 | 用于文本数据的处理、加载和模型训练。 |
| 6 | torchvision | 计算机视觉库 | 提供计算机视觉相关的数据集、模型和工具。 |
| 7 | PyTorch on XLA Devices | XLA 设备上的 PyTorch | 支持在 XLA 设备（如 TPU）上运行 PyTorch 模型。 |
