编程框架机理

Pytorch的设计原则

  1. 要性能更要易用
    image.png

  2. 简介抽象而非隐藏细节
    image.png

  3. 始于python，忠于python
    image.png

Pytorch的计算图机制

常见求导方法：

  • 手动求解法
  • 数值求导法
  • 符号求导法
  • 自动求导法
    image.png
    image.png
    image.png
    image.png
    image.png

分布式计算机制

image.png

不同的分布式计算方法：
数据并行：对数据进行分区
模型并行：对程序进行分区
混合并行：同时对数据和程序进行分区

image.png
image.png
image.png

编译机制

image.png
image.png

Notes > 课程 > 大三（上） > 智能计算系统
#智能计算系统
编程框架机理
http://example.com/2024/11/27/Notes/课程/大三（上）/智能计算系统/编程框架机理/
许可协议