Python 文本乱码原因及解决方案

正确做法：始终显式指定编码（推荐 UTF-8）

# 写入
with open('test.txt', 'w', encoding='utf-8') as f:
    f.write('金')
# 明确用 UTF-8 编码
# 读取
with open('test.txt', 'r', encoding='utf-8') as f:
    content = f.read()
# 明确用 UTF-8 解码

黄金法则：在打开文件时，永远加上 encoding='utf-8' 参数。

场景 2：网络请求（如 requests 库）

网页服务器会在 HTTP 响应头中通过 Content-Type 字段声明编码（如 charset=gb2312）。requests 库会自动猜测编码，但有时会猜错。

错误示范：

import requests
response = requests.get('http://example.com')
print(response.text)
# requests 库自动猜测编码，可能猜错导致乱码

正确做法：手动修正编码

import requests
response = requests.get('http://example.com')
# 方法 1：直接修改编码属性（推荐）
response.encoding = 'utf-8'
# 或者 'gbk', 'gb2312' 等，根据网页源码判断
print(response.text)
# 方法 2：使用内容自动检测（需要 chardet 库）
import chardet
detected_encoding = chardet.detect(response.content)['encoding']
response.encoding = detected_encoding
print(response.text)

场景 3：终端/控制台输出

Python 脚本在终端（CMD、PowerShell、Bash）中打印中文时出现乱码，通常是因为终端的编码与 Python 输出的编码不一致。

• Windows CMD：默认编码是 GBK（代码页 936）。
• 现代终端（Windows Terminal, VS Code 终端）：通常支持 UTF-8。

解决方案：

1. 统一终端编码为 UTF-8（推荐）：
   • 在 Windows CMD 中执行：chcp 65001 （切换代码页到 UTF-8）
   • 在 PowerShell 中：$OutputEncoding = [System.Text.Encoding]::UTF8

在 Python 脚本中适配（不推荐，治标不治本）：

import sys
import io
# 强制将 stdout 的编码改为 UTF-8
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
print('金')

场景 4：Python 源码文件本身的编码

如果你的 .py 文件中包含中文字符串（如注释、字符串字面量），并且文件保存时用的编码（如 GBK）与 Python 解释器读取时用的编码（默认 UTF-8）不一致，会导致 SyntaxError 或乱码。

解决方案：

1. 确保你的代码编辑器（如 VSCode, PyCharm）将文件保存为 UTF-8 编码。这是最根本的解决方法。

在文件开头添加编码声明（Python2 必需，Python3 推荐）：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

三、排查乱码的神器

1. 在线编码转换工具：如 Base64/Hex/UTF-8 转换工具，可以手动粘贴字节流进行转换测试。

chardet 库：检测未知字节数据的编码。

pip install chardet

import chardet
with open('unknown_encoding.txt', 'rb') as f:
    # 注意用'rb'二进制模式读取
    raw_data = f.read()
    result = chardet.detect(raw_data)
    print(result)
# 输出：{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

四、总结与最佳实践

1. 黄金法则：显式优于隐式。在任何涉及字节流和字符串转换的地方（文件、网络、数据库），都明确指定编码，首选 utf-8。
2. 统一标准：整个项目（源码文件、数据文件、数据库、网页）尽量统一使用 UTF-8 编码，从根源上避免转换错误。
3. 理解流程：时刻清醒地认识到数据在'内存（Unicode）'和'外部（字节流）'之间的转换过程，确保两端使用相同的'密码本'（编码）。
4. 使用二进制模式：当你不确定编码，或者需要处理原始字节时，先用 'rb' 模式读取文件，得到 bytes 对象后再进行解码。

遵循以上原则，你就能告别乱码烦恼，让你的 Python 程序在处理多语言文本时游刃有余。记住，乱码不是 Bug，而是编码和解码规则不匹配的必然结果——解决它的关键就在于明确规则。