解决 Python 打包问题的有效方法

发表时间: 2023-07-04 11:16

本文主要介绍 Python 包管理的问题和解决方法,以及在安装和运行 Python 时应遵循的策略和步骤。

原文链接:https://www.bitecode.dev/p/relieving-your-python-packaging-pain

未经允许,禁止转载!


作者 | Bite Code 译者 | 明明如月
责编 | 夏萌
出品 | CSDN(ID:CSDNnews)

随着 Python 3 的普及,Guido 正在致力于提升这门语言的运行速度,而社区中新的抱怨焦点则转向了包管理。

关于这个话题有很多可以深入探讨的地方,如包的构建、分发及其他诸多问题,但这并不是大部分用户所面临的困扰。

真正困扰大家的是,他们在尝试安装和使用某个包时,往往会遇到预料之外的问题。

本文主要聚焦于帮助你解决这个问题,至少,可以帮你搞定绝大多数情况。

然而,你可能会发现奇怪的现象:你至今为止试过的所有方法都没有奏效。事实上,大多数关于这个话题的建议可能都无法真正帮助你。

这是因为在 Python 包管理中,绝大部分问题并非直接由包管理本身引起。

题的症结在于 Python 的启动问题,也就是如何找到、安装、配置并运行 Python 的过程。

在过去的 15 年中,我尝试过所有可能的方法,无论对于专家或是初学者,无论对于专业人士或是业余爱好者,都没有找到“唯一的正确答案”。

然而,对大多数人来说,有一种方法会让失败的次数少很多。

在这篇文章中,我将列出一系列需要遵循的步骤,并在另一篇新文章中解释这些步骤的原因。

概述


你只需要遵循下面的 Python 的安装和运行策略,就可以规避许多包管理方面的问题:

  1. 不要急于安装 Python 的最新版本

  2. 在 Windows 和 Mac 上,坚持使用 python.org 的安装程序,在 Linux 上则使用官方仓库。

  3. 绝对不在虚拟环境之外安装或运行任何程序

  4. 让自己只使用基础的命令:pip venv

  5. 执行命令时,使用 -m参数

  6. 在创建虚拟环境时,使用命令行参数明确指定 Python 版本


不要盲目追求 Python 的最新版本


对,最新版本的 Python 总是那么闪亮夺目,性能更强,新功能特性众多,令人心动。我并不是说你不应该去尝试它,熟悉它。然而,对于你的项目来说,你最好不要采用这个最新版本。

因此,假设 Python 3.11 是最新的主版本,你最好使用的版本应当是 3.10,或者更旧的版本。如果可能的话(我理解没有人希望每年都更新 Python 版本),最好将你的版本目标设定在最新主版本的前四个版本,例如在本例中,就应选择 3.7 版本。

如果你对此有疑问,可以查看 Python 状态页。

在这个页面上,"feature" 指的是当前正在开发的版本,"bugfix" 指的是仍在接收错误修复的版本,"security" 指的是仍在接收安全问题修复的版本,而 "end-of-line" 则代表已经停止更新的版本。


在 Windows 和 Mac 上,使用官方安装器


安装 Python 的方式有很多种,你选择何种方式安装非常关键。

是应该使用 Homebrew、Windows 商店,还是使用 Anaconda?答案是都不应该。

你应该直接访问 python.org,使用他们提供的 Windows 版 Python 安装器 或 Mac 版安装器。

如果你想知道为什么这么做,可以查阅我写的 另一篇文章。

如果你想了解安装的步骤,可以参考我写的另外一篇专门讲解 讲解 Python 完整安装过程的文章。

另外,我知道有些用户因为某些原因必须使用 Anaconda,在文末我将为你解答。


在 Linux 上,使用官方仓库


请使用你的发行版附带的官方工具来安装 Python,可能是 "apt","yum","dnf" 等等。

你将受限于仓库中的 Python 版本,但要抵制使用 pyenv 来规避这一点的诱惑。

如果恰巧你在使用 Ubuntu,你就很幸运:你可以使用 deadsnake PPA 来增加你可用的版本数。

同样的,如果你在 Red Hat 上,可以使用 EPEL。

你可能在 Windows/Mac 上开发并在 Linux 上部署。在这种情况下,检查 Linux 机器上可用的版本,并在 Windows 上安装相同版本的 Python。

如果以上建议你还听不太明白,可以查看 与这个主题的完整教程。


安装软件包时,坚持使用 pip


请避免使用 conda。

请避免使用 poetry、pipenv、pdm、easy_install。

同样地,不要使用 pipx。请注意,pipx 和 pip 是两个完全不同的工具。

不要使用像 apt、yum 等的工具。

如果你对 pip 感到陌生,或不清楚如何使用它,不用担心,我们将在约两周后的一篇文章中对此进行详细讲解。


总是在虚拟环境中使用 pip


正因为你正在阅读这篇文章,也就意味着你可能尚不具备跳过此规则所需要的知识。

因此,千万别忽视它。

这是最重要的规则

无论你需要安装什么,都应该在虚拟环境中进行。

不论你要安装的是 black、jupyter、mypy,还是你目前正在考虑的任何软件包,都应该在虚拟环境中安装。

最关键的是,当你在安装任何东西时,如果你不确定自己是否在虚拟环境中,你首先要做的就是确认你正处于虚拟环境。

如果你在安装过程中输入了 "--user",那么说明你并未在虚拟环境中安装。

如果你在输入 "sudo",你也未在虚拟环境中安装。

一旦在虚拟环境中安装了软件包,为了使用它们,你需要保持在同一环境中。因此,所有的命令,包括运行 pip,都应该在虚拟环境中进行。

如果你对虚拟环境感到陌生,或者不清楚如何使用它,没关系,我们将在后面的文章中进行详细解析。

的确,这有点让人感到困扰。你只是想编程,而不想被这个麻烦的虚拟环境困扰。为什么它就不能像 cargo 或 npm 那样简单呢?

这个问题的答案相当复杂。

但现实情况是,目前你没有任何可靠的方法可以在没有虚拟环境的情况下安装任何东西。

所以你有两个选择:不使用虚拟环境,然后遭受各种各样的问题;或者使用虚拟环境,只需要承受一些小小的麻烦。


只使用 "venv" 来创建虚拟环境


venv 是大部分 Python 安装包默认附带的命令,你应该用它来创建新的虚拟环境。

当然,还有一些其他的命令,例如 virtualenvvirtualenvwrapper

你的选择是:不用它们。

还有一些其他的工具,比如 pipx、pdm、poetry 和 pipenv。

同样,不用它们。

显然,anaconda 自带了 env 子命令。

这个你应该知道:也不要用它。

此刻,那些正在使用这些工具的读者可能已经开始心潮澎湃。请记住,关于这个话题,我们有另一篇文章。

需要注意的是,venv 是与 python.org 的 Python 安装器捆绑在一起的,但是在 Linux 上,你可能需要安装一个特定的包,这将是我们下周要讨论的内容。


在运行 Python 命令时,添加 -m 参数


-m 是 "python" 命令中的一个参数,大部分用户可能并不了解它。但是它可以让你运行任何可导入的 Python 模块。由于大多数命令都是 Python 模块,因此我们可以用这个参数来指示,“运行这个特定的 python 模块 X”。

不要这样:

pip install
应该这样:
python -m pip install
不要这样:
black
该这样:
python -m black
不要这样:
jupyter notebook
应该这样:
python -m jupyter notebook
即使你在虚拟环境中,尽管有人可能会告诉你一大堆不一样的话,你仍然应该这样做。


的确,这很繁琐。你只是想写代码,不想被这个烦人的 -m 打扰。为什么它不能像其他工具那样开箱即用呢?

这个问题说来话长。

但是现在的情况是,你目前没有任何可靠的方式在不使用 -m 的情况下运行任何 Python 命令。

所以,你有两个选择。不使用 -m,受尽困扰。或者使用 -m,只承受一点点困扰。


创建虚拟环境时,要明确所使用的 Python 版本


计算机上存在多个 Python 版本是非常常见的事,而你可能并不清楚这一情况。在创建虚拟环境时,你应该明确声明要使用哪个 Python 版本,因为这个环境将会永久性地关联这个特定版本的 Python。

在 Windows 系统中,这意味着使用 py命令,它是 python.org 的安装程序所附带的,并可以通过以下命令列出在你的计算机上所有已安装的 Python 版本:

py --list-paths
你可能会看到类似于下面的输出:
-3.9 C:\Python39\python.exe -3.8 C:\Python38\python.exe * -3.7 C:\Python37\python.exe

然后,你可以选择使用哪个 Python 版本,如:

py -X.Y
例如,想要运行 Python 3.7,可以输入:
py -3.7>>> print('Hello')Hello

在 Linux 和 Mac 系统中,你需要使用带有版本后缀的 pythonX.Y命令。

例如,要运行 Python 3.7,可以输入:

python3.7>>> print('Hello')Hello

如果你已经在机器上安装了Python,这些指令都可以为你选择一个已经安装在你的机器上的 Python 版本并运行。如果你还没有装过 Python ,是无法运行的。

请注意,如果你按照以上所有步骤进行操作,那就意味着你会同时使用 venv 和 -m

因此,在创建虚拟环境时,你可能会输入一些看起来很复杂的命令。

例如,Windows 系统下的命令为:

"py -3.8 -m venv .venv"
在 Linux 和 Mac 系统下,命令为:
"python3.8 -m venv .venv"
(如果这些对你来说没有意义,我们会在另一篇文章中进行解释)

这些命令看起来可能有些复杂,但其实这就是非常正确的做法。

这确实有些麻烦。你可能只是想编写代码,而不想处理这些繁琐的步骤。我们为什么要写一些连 Chat GPT 都不推荐的东西呢?

回答这个问题需要长篇大论

但事实是,目前没有任何可靠的方法可以在不做这些的情况下创建虚拟环境。

所以你有两个选择。一是继续采用你的原来做法,然后饱受困扰;二是将这段复杂的命令保存在一个文件中,每次需要时复制粘贴一下,只需饱受一点点困扰。


如果你必须使用 Anaconda,该如何应对?


首先,确保你确实需要使用 Anaconda。我曾经遇到很多人误以为他们必须使用 Anaconda,然而当他们按照上述步骤进行操作后,他们发现其实并非如此。自从 pypi 引入了 wheel 文件后,一些过去安装起来让人头疼的包,比如 GUI 工具包(GUI tool-kits)或科学计算相关的包,现在的安装过程变得轻松许多。

然而,我明白有些人是真的必须使用 Anaconda。

可能你的项目复杂且需要机器学习,或者你的公司的策略就是只使用 Anaconda。

在这种情况下,你依然可以在 Anaconda 的环境中运行。

对于所有操作,只使用 conda,仅仅使用 conda

不要尝试使用 pip venv。尤其是,千万不要尝试将 conda 与其混合使用。

这样做虽然会限制你只能使用 Anconda 渠道中的资源,但这是保持工作流程清晰的唯一方式。

对于你应该始终创建虚拟环境并在其中进行所有操作的建议仍然适用,只是这个虚拟环境需要通过 conda 来创建。