PyTorch 2.0正式版发布！一行代码提速2倍，100%向后兼容(1/7)

在PyTorch 2.0 Accelerated Transformers中，运用了自定义内核架构的措施（也被称为缩放点积留意力SDPA），为锻炼和推理提供高性能的支持。由于有多种类型的硬件能够支持Transformers，PyTorch 2.0能够支持多个SDPA定制内核。更进一步，PyTorch集成了自定义内核选择逻辑，将为给定的模型和硬件类型选择最高性能的内核。加速的影响非同小可，由于它有助于使开发人员比以前的PyTorch迭代更 ... [查看原文]

标签： 积家

全部图片

查看原图