端侧AI推理，高效部署PyTorch模子：民间新工具开源，Meta已经用上了-五毒慕梅网

端侧AI推理，高效部署PyTorch模子：民间新工具开源，Meta已经用上了

发布时间：2024-11-07 16:53:33 来源：五毒慕梅网作者：时尚

ExecuTorch 是端侧一个端到真个处置妄想，可能在挪移以及边缘配置装备部署（搜罗可衣着配置装备部署、推理手机等）上实现推理功能。高效

在 2023 年 PyTorch 大会上，部署一个深受巨匠体贴的模民间推理下场患上到了很好的处置，会上宣告了一个用于在边缘以及挪移配置装备部署上实现 AI 推理的新工处置妄想：ExecuTorch，而且仍是具开经用开源的，而增长这一钻研的源Ma已，正是端侧 Meta AI 与 PyTorch 基金会。

ExecuTorch 地址：https://github.com/pytorch/executorch

学习文档：https://pytorch.org/executorch/stable/index.html

随着 ExecuTorch 的推理开源，预示着 AI 运用挨次在配置装备部署受骗地运行、高效而需衔接到效率器或者云成为可能。部署咱们可能将 ExecuTorch 清晰成一个 PyTorch 平台，模民间其能提供根基配置装备部署来运行 PyTorch 挨次，新工从 AR/VR 可衣着配置装备部署到尺度的具开经用 iOS 以及 Android 配置装备部署的挪移部署。

ExecuTorch 最大优势是可移植性，可能在挪移以及嵌入式配置装备部署上运行。不光如斯，ExecuTorch 还可能后退开拓职员的使命功能。

据清晰，Meta 曾经履历证了这项技术，并将其用于最新一代的雷朋智能眼镜，而这款眼镜也是 Meta 最近宣告的 Quest 3 VR 头显的一部份。Meta 展现，作为开源 PyTorch 名目的一部份，他们旨在进一步增长该技术的钻研，从而迈入在配置装备部署上实现 AI 推理的新时期。

Facebook 独创人、Meta 董事长兼首席实施官扎克伯格展现：「作为开源 AI 使命的一部份，咱们与 PyTorch 基金会及其行业相助过错一起开源了 ExecuTorch 。这一变更预示着将 PyTorch 引入了手机以及可衣着配置装备部署等边缘合计平台。ExecuTorch 使 AI 模子可能直接在配置装备部署上运行，而无需衔接到效率器。」

Meta 软件工程师 Mergen Nachin 指出，「明天的 AI 模子正在从效率器扩展到边缘配置装备部署，如挪移配置装备部署、AR、VR 以及 AR 头显、可衣着配置装备部署、嵌入式零星等。ExecuTorch 经由提供端到真个使命流来优化当地挨次，从而处置边缘配置装备部署碰着的挑战。」

ExecuTorch 关键组件

ExecuTorch 提供了松散的运行时以及轻量级操作注册表，以拆穿困绕 PyTorch 模子生态零星，以及在边缘配置装备部署上实施 PyTorch 挨次的简化道路。此外，ExecuTorch 还附带 SDK 以及工具链，为 ML 开拓职员提供了更好的用户体验。

作为 PyTorch Edge 生态零星的一部份，ExecuTorch 可能实用地将 PyTorch 模子部署到边缘配置装备部署。ExecuTorch 的短处搜罗：

可移植性：与种种合计平台兼容，从高端挪入手机到高度受限的嵌入式零星以及微操作器。
后退花难题：开拓职员可能运用相同的工具链以及 SDK ，从而后退花难题。
后退功能：由于轻量级运行时以及短缺运用 CPU 、NPU 以及 DSP 等硬件功能，为最终用户提供了无缝以及高功能的体验。

由于 ExecuTorch 严正依赖 PyTorch 相关知识，因此，想要熟练把握 ExecuTorch ，还需延迟填补相关知识。民间文档已经提供了入门级教程。好比，在构建 ExecuTorch Android 演示运用挨次示例之中，巨匠可能追寻教育教程，从而熟习若何运用 ExecuTorch。

最后，需要揭示巨匠的一点是，本次宣告的 ExecuTorch 是一个预览版本，在测试以及评估中可能运用，可是不建议在破费情景中运用。PyTorch 团队招待来自社区的任何反映、倡讲以及过错陈说，以辅助他们改善技术。