(测试版)CPU 融合:PyTorch 1.10 为 CPU 添加了一个基于 LLVM 的 JIT 编译器 , 可以将 Torch 库调用序列融合在一起以提高性能 。 虽然此前的版本在 GPU 上拥有此功能已有一段时间了 , 但 1.10 版本是第一次将编译引入 CPU 。
PyTorch Profiler
(测试版)PyTorch Profiler 的目标是针对时间或内存成本最高的执行步骤 , 并可视化 GPU 和 CPU 之间的工作负载分布 。 PyTorch 1.10 包括以下主要功能:
- 增强型内存视图:这有助于用户更好地了解内存使用;
- 增强型内核视图:附加列显示网格和块大小以及每个线程共享内存使用和寄存器的情况;
- 分布式训练:Gloo 现在支持分布式训练工作;
- TensorCore:该工具显示 Tensor Core(TC) 的使用 , 并为数据科学家和框架开发人员提供建议;
- NVTX:对 NVTX markers 的支持是从旧版 autograd profiler 移植过来的;
- 支持移动设备分析:PyTorch profiler 现在与 TorchScript 、移动后端能够更好的集成 , 支持移动工作负载的跟踪收集 。
去年 , PyTorch 官方发布了对 Android Neural Networks API (NNAPI) 的原型支持 。 PyTorch1.10 版本增加了更多的操作 , 包括在加载时对形状的支持 , 以及在主机上运行模型进行测试的能力 。
此外 , 迁移学习已经添加到对象检测示例中 。
对于此次 PyTorch 的更新 , 网友也不仅赞叹:「PyTorch 团队的出色工作 , 融合和 profiler 工作 , 非常酷!」
关于 PyTorch1.10 版本的更新 , 更多信息请参考:
Github: https://github.com/pytorch/pytorch/releases/tag/v1.10.0
参考链接:
https://pytorch.org/blog/pytorch-1.10-released/
【PyTorch 1.10正式版上线:Android NNAPI支持来了】https://www.marktechpost.com/2021/10/21/pytorch-releases-version-1-10-with-updates-on-cuda-graphs-apis/
特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
