跳到主要内容Rye:一款实验性质的 Python 包管理系统 | 极客日志Python
Rye:一款实验性质的 Python 包管理系统
Rye 是 Flask 作者 Armin Ronacher 推出的实验性 Python 包管理器,旨在解决工具链碎片化问题。它通过工作区(Workspace)隔离项目环境,使用独立下载的 Python 解释器避免版本冲突,并支持开发环境与生产环境的区分。Rye 基于 Rust 开发,提供类似 Cargo 的标准化体验。 Rye 的安装流程、核心命令如初始化、依赖管理、版本控制及全局工具安装,并梳理了推荐的工作流,为 Python 开发者提供了一种新的依赖管理方案。
并发大师0 浏览 Rye 是 Flask 作者 Armin Ronacher 最近推出的一个实验性质的 Python 包管理系统,其核心目的是解决 Python 包管理目前面临的工具链碎片化问题。
背景与现状
大家知道,Python 目前的包管理系统非常多样,包括 poetry、pip、pipenv、pyenv、venv、virtualenv、pdm、hatch 等等。它们都是优秀的工具,提出时都是为了解决特定的问题,但没有任何一个工具能够成为绝对的主流标准,这导致了系统的碎片化程度较高。开发者在不同项目间切换时,往往需要适应不同的依赖管理方式。
另一方面,conda 等工具虽然能提供不同版本的 Python 并管理不同的环境,但每个环境的 Python 解释器不是共享的。随着环境创建增多,环境目录会变得非常大,且内部机制不透明,有时还会遇到冲突无法解决的问题。
此外,Python 在 Linux/macOS 上的安装也面临挑战。例如用系统包管理器安装的 Python 和用户手动安装的 Python 有时会混淆,导致混乱。比如在 Fedora 上,使用 pip install 安装包可能会导致系统的包管理命令 dnf 出错。PEP 668 尝试对这些问题给出解决方案,但也需要不同的操作系统支持,目前看还任重道远。
由于 Armin 也是一个 Rust 开发者,而 Rust 基于标准化的 rustup 和 cargo 两个工具,配合配置文件来进行包管理,目前做得比较好,没有 Python 面临的碎片化问题。受 Rust 启发,作者提出了 Rye,期望能够启发 Python 社区提出类似 Rust 的标准包管理工具。
Rye 的核心设计思路
- Workspace 概念:workspace 类似一个项目目录或者一个 git 仓库。一个 workspace 下只有一个 Python 版本,不同 workspace 的 Python 版本相互隔离。每个项目采用 pyproject.toml 来进行配置。
- Standalone Python:不使用系统自带的 Python,相反地,在每个项目目录中下载一个 standalone 的 Python。这解决了不同版本的冲突问题,且不暴露 pip 命令。通过 rye add + rye sync 来管理包的依赖,避免包 A 和包 B 依赖不同版本的包 C 而导致的不兼容问题。
- 环境区分:区分开发环境和正式环境。因为一些包在开发时会用到调试工具,但作为第三方库被引入的时候并不需要。
- 本地导入支持:支持 import 本地 workspace 作为第三方库包,方便微服务或模块化开发。
但同时也有一个问题:rye 会不会是另一个做不到主流的 Python 包管理系统,从而进一步增加 Python 包管理的碎片化呢?作者也有这个考虑,因此写了一个讨论帖 Should Rye Exist? 来讨论这个问题。关于 Rye 的设计初衷,可以参考作者的思考文档。
个人观点:Rye 的出现给 Python 社区引入了一些新鲜的解决现有问题的思路。使用 Rye 一段时间后,发现至少使用 standalone 的 Python 版本是一个解决冲突的好方式。通过几个简单的命令来解决版本管理的问题是比较直观的。提出 Rye 应该是利大于弊的,也就是有益程度大于碎片化增加的程度。
总之不管是 PEP-668 中标记版本管理是系统的还是 Python 的,还是 PEP 711 来单独下发 Python 解释器二进制文件,还是 Rye 的出现,都是 Python 社区意识到 Python 包管理问题的严重性,进而做出的一些有益尝试。期待在未来,有更标准化的工具,Python 的开发也更容易。
1.1 安装 rustup
Rye 是基于 Rust 开发的,而 Rust 有标准的包安装工具 cargo。Rust 编译器和 cargo 都需要用 rustup 来安装,因此安装预编译的 Rye 包需要先安装 rustup。
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
执行完后,重启 Shell,输入 cargo -V,如果不报错,说明安装成功。
1.2 安装 Rye
有了 cargo 后,使用下面的命令安装 Rye:
cargo install --git https://github.com/mitsuhiko/rye rye
通过命令行执行 rye -h 来判断 Rye 是否安装成功。
同时可以将 $HOME/.rye/shims 添加到环境变量 PATH 中,这样打开 Shell 后运行 python 就用的是 Rye 安装到 standalone Python,否则你需要用 rye run python 来启用 Rye 的 Python 解释器。
1.3 初始化一个 Rye 项目
使用 rye init project-name 来创建一个 Rye 项目目录。
rye init test_rye
cd test_rye
tree
├── .git
├── .gitignore
├── .python-version
├── README.md
├── pyproject.toml
└── src
└── test_rye
└── __init__.py
可以看到创建了 .git 目录,.gitignore 文件,README.md,配置文件 pyproject.toml 和一个示例的源码文件 src/test_rye/init.py。
1.4 Python 版本管理
为了固定开发环境,我们可以利用 rye pin python-version 来固定 Python 的版本。例如 rye pin [email protected] 会将 Python 版本固定为 3.10.11。
由于默认使用的 Python 版本是 Cpython 的,因此在执行 rye 命令时可以将 Cpython@前缀省去。
注意 rye pin 命令并不立即改变 Python 的版本,只是修改配置文件 .python-version,在 rye sync 执行时才进行实际的修改。可以多次执行 rye pin 来调整 Python 的版本。
然后执行 rye sync 来同步配置。具体来说,第一次执行这个命令的时候,Rye 会下载一个单独的 Python 解释器,放置到 $HOME/.rye/py 目录下,链接到项目的 .venv 目录下。因此同一个 Python 版本在磁盘上只有一份,这与 conda 是不同的。
更一般地,可以使用 rye toolchain 来查看、拉取和删除 Python 版本。
rye toolchain list 用来显示所有已经安装的 Python 版本:
cpython@3.11.3 (/Users/yunfeng/.rye/py/cpython@3.11.3/install/bin/python3)
cpython@3.11.1 (/Users/yunfeng/.rye/py/cpython@3.11.1/install/bin/python3)
cpython@3.10.11 (/Users/yunfeng/.rye/py/cpython@3.10.11/install/bin/python3)
cpython@3.10.9 (/Users/yunfeng/.rye/py/cpython@3.10.9/install/bin/python3)
rye toolchain list --include-downloadable 会列出所有可以下载的 Python 版本:
rye toolchain list --include-downloadable
cpython@3.10.8 (downloadable)
cpython@3.10.7 (downloadable)
cpython@3.10.6 (downloadable)
cpython@3.10.5 (downloadable)
cpython@3.10.4 (downloadable)
cpython@3.10.3 (downloadable)
cpython@3.10.2 (downloadable)
cpython@3.10.0 (downloadable)
...
注意已经下载的 Python 版本不在这个输出中。
rye toolchain fetch(简写为 rye fetch)可以直接拉取某个 Python 版本:
rye toolchain fetch 3.8.16
rye toolchain remove 可以删除某个 Python 版本:
rye toolchain remove 3.8.16
1.5 添加依赖包
可以通过 rye add package-name 来安装像 numpy 等第三方包。这个命令支持安装 GitHub 和本地的包,一些示例的用法如下:
rye add numpy
rye add six easydict
rye add "Flask>=2.0"
rye add --dev black
rye add Flask --git=https://github.com/pallets/flask
rye add My-Utility --path ./my-utility
同样的,rye add 并不会实际安装包,只会修改配置文件 pyproject.toml 中的 dependencies 项,等执行 rye sync 的时候才真正安装。Rye 会自动生成一个 lockfile(通常是 rye.lock),确保依赖的一致性。
1.6 Rye 工作流
rye init project-name 来初始化项目目录。
git add 和 git commit 来提交初始状态的代码,方便定位后续代码和配置文件的更新。
rye pin 指定 Python 版本。
- 修改代码,
rye add package-name 来增加代码依赖的包。
rye sync 来安装 Python,安装依赖包,更新配置文件。
rye run python 执行代码测试。
- 可选:
rye build 来生成可发布的 wheel 文件。
- 可选:
rye publish 上传包到 pypi。
需要注意的是,Rye 只负责依赖管理,具体的调试代码工作,还需要自己来进行,使用你熟悉的代码测试方式就可以了。
额外补充一下,可以使用 rye shell 来打开一个新的启用了 Rye Python 的 Shell 来进行代码调试。这将自动激活当前项目的虚拟环境。
1.7 安装可执行的 global Python 工具
某些 python 包除了包含 Python 源码外,还包含一些命令行工具,Rye 称这些工具为 global tool,因为它们不是在某个环境中才能使用,而是全局可使用的。这些工具可以用 rye install package-name 来安装,例如:
这些包都存放在 $HOME/.rye/shims 目录下。如果要删除 global tool,可以使用 rye uninstall:
1.8 常见问题与最佳实践
在使用 Rye 的过程中,可能会遇到一些常见问题。例如,如果 rye sync 失败,通常是因为网络问题导致无法下载 Python 解释器或依赖包。此时可以尝试配置国内镜像源,或者检查网络连接。
另外,建议在 CI/CD 流程中也使用 Rye 来管理依赖,这样可以保证构建环境与本地开发环境一致。在 GitHub Actions 中,可以先安装 rustup 和 Rye,然后运行 rye sync 来准备环境。
对于大型项目,建议充分利用 Workspace 功能,将相关的项目组织在一起,共享部分依赖配置,减少重复劳动。
总结
Rye 作为一个新兴的 Python 包管理工具,提供了一种更加标准化、隔离化的解决方案。虽然它仍处于实验阶段,但其设计理念值得借鉴。对于希望摆脱 Python 包管理混乱局面的开发者来说,Rye 是一个值得尝试的工具。
相关免费在线工具
- curl 转代码
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
- Base64 字符串编码/解码
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
- Base64 文件转换器
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
- Markdown转HTML
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online
- HTML转Markdown
将 HTML 片段转为 GitHub Flavored Markdown,支持标题、列表、链接、代码块与表格等;浏览器内处理,可链接预填。 在线工具,HTML转Markdown在线工具,online
- JSON 压缩
通过删除不必要的空白来缩小和压缩JSON。 在线工具,JSON 压缩在线工具,online