(译)让python代码一键转为wasm

超级欧派课程 2024-04-25 06:18:25

自五年前开始创建Wasmer以来,我们一直致力于通过WebAssembly使更多的语言能够针对Web及其超越Web的应用。

其中最受欢迎的语言之一就是Python,并且虽然确实可以在WebAssembly中运行Python程序,但就性能而言,它并不理想。

以下是基准测试

今天,我们非常高兴地宣布推出py2wasm:这是一款将你的Python程序转化为WebAssembly的编译器(感谢Nuitka!),避免了解释器的开销,使其运行速度比基础解释器快3倍!

下面是你如何使用它的方式:

$ pip install py2wasm$ py2wasm myprogram.py -o myprogram.wasm$ wasmer run myprogram.wasm

注意: py2wasm需要在Python 3.11环境中运行. 你可以使用pyenv在你的系统中轻松设置Python 3.11:

pyenv install 3.11 && pyenv global 3.11.基准测试

让我们尝试运行著名的pystone.py基准测试,来比较本机Python,常规WebAssembly和py2wasm。

注意:你可以在以下链接检查用于基准测试的代码:https://gist.github.com/syrusakbary/b318c97aaa8de6e8040fdd5d3995cb7c

Python深度分析运行可能的策略来优化WebAssembly中的Python工作负载。

如何加速Python在WebAssembly中的运行速度有许多方法可以优化运行时速度:

使用可以编译成性能代码的Python子集在Python内使用JIT使用静态分析来优化生成的代码将Python子集编译为Wasm

我们可能只想目标定向Python的子集,而不是支持Python的全部功能。这是因为并不需要支持所有的功能,并且我们可以承受一些捷径:

✅ 可以生成非常高效的代码❌ 不支持全部的语法或模块使用这种策略的最常见选择是:CPython,RPython(PyPy)和Codon。

CPython: 可以创造性能高效的模块,正常运行你的Python代码库。然而,我们希望允许从我们的程序创建完全独立的WebAssembly二进制文件,所以很遗憾Cython对于加速Wasm中的Python可执行文件是行不通的。

RPython: RPython将类型代码转化为C,然后使用正常的C编译器进行编译。对于RPython中的Python程序能够运行的程度,限制是非常严格的,比如字典需要被完全类型化,这严重限制了我们可以使用它的程序。

Codon: Codon将Python代码的一个子集转化为LLVM IR。Codon是最有前途也是提供最多提速(从10到100倍)的备选方案。然而,他们支持的Python子集还有许多缺失的特性,这阻止了在大部分Python代码中使用它。

Python JIT

另一种策略是在Python中使用JIT,这样当执行复杂计算时,热路径就会被编译为WebAssembly。

✅ 运行速度过快❌ 需要预热❌ 不容易支持Webassembly(但是可能)最常见(如果不是最常见的)的方法就是PyPy。

PyPy是一种Python解释器,它可以比标准的CPython解释器以更快的速度执行你的Python程序。一旦涉及到复杂的计算,他会通过JIT (即时编译器) 把执行速度变得超快。运行一个JIT在WebAssembly是不容易的,但可能.

大约五年前,pypyjs.org项目通过创建一个新的针对Javascript/Asm.js(而不是x86_64或arm64/aarch64)的PyPy后端来显示这种可能性。

对于我们的案例,我们需要从输出Javascript代码便到Webassembly。

实现一个PyPy的Wasm后端是完全可能的,就像Pypy.js所证明的那样,但不幸的是,这并不是一件轻而易举的事情(这可能需要几周到一个月的工作时间)。

静态分析

最后一种策略我们可以尝试加快Python在WebAssembly中的执行速度是:静态分析。静态分析可以让我们提前分析/自动检测程序的类型,这样代码就可以转译成更高效的特殊形(通常是通过Python到C的转译)。

✅ 与任何Python代码和应用程序大部分兼容❌ 只能提高1.5-3倍的速度❌ 实现复杂性高(从静态分析器的角度看,有许多细微之处)❌ 二进制文件较大mypy & mypy-c: Mypy可能是最受欢迎的Python静态分析器。Mypy团队也创建了一个mypy-c,它获取了来自Mypy的所有类型信息,然后将Python代码转化为等价的C代码,性能更好。

mypy-c主要针对的是Python模块,这样可以在Python代码库旁边运行。然而,在我们的用例中,我们希望允许从我们的程序创建新的完全独立的WebAssembly二进制文件,所以不幸的是,mypy-c可能不能适用于我们的用例。

Nuitka: Nuitka通过将程序做的Python调用转化为C,使用内部的CPython API调用。它支持大多数Python程序,因为将Python代码转为对应的CPython调用。

在经过了对所有选项的深入分析后,我们意识到,通过Nuitka将Python运行在WebAssembly中可能是最快的选项。

使用Nuitka将Python编译为WebAssembly当我们试着运行生成的Wasm文件时,发现另一个问题:由于Nuitka的翻译器是在一个64位的架构中执行的,但生成的代码是在一个32位的架构中运行的(WebAssembly),所以事情并没有按照预期地工作。

一旦我们修复了这两个问题,原型就完全工作了!万岁!

我们已经创建了一个PR尝试将更改推送到Nuitka的上游,欢迎在这里查看:https://github.com/Nuitka/Nuitka/pull/2814

ℹ️ 目前py2wasm 是使用Nuitka的一个分支,但是一旦更改被集成到上游,我们的目标是让py2wasm成为在Nuitka之上的一个独立层。

我们首先满足了自己的需求,因为我们想将Python执行速度提升到最大,这样我们可以将Python Django后端从Google Cloud移至 Wasmer Edge。

py2wasm让我们(以及许多其他国家)更接近在Edge上运行Python后端应用程序,提供了一种远优于当前Cloud Provider的经济高性能Hosting这些应用程序的替代方案。

未来路线图

在未来,我们计划将py2wasm发布为Wasmer的一个包,这样你只需要简单地执行以下命令来操作。敬请留意!

wasmer run py2wasm --dir=. -- myfile.py -o myfile.wasm我们希望你喜欢这篇展示py2wasm的文章,我们已经迫不及待地想听到你在Hacker News和Github上的反馈了!

本文翻译自wasmer 官方的文章:https://wasmer.io/posts/py2wasm-a-python-to-wasm-compiler

感兴趣的可以读原文。

了解更多

作为一个 python 爱好者,我会经常性分享和翻译各种高质量的文章和博客,希望把好的内容带给大家,让读者可以高质量低成本的获取知识,降低走弯路的成本,这是我写技术文章的初衷,如果对我的内容感兴趣想了解更多技术知识可以关注我的技术专栏,更多有深度的内容都会更新到专栏。

0 阅读:101

超级欧派课程

简介:感谢大家的关注