从文件到屏幕：Python/Java 字符编码、解码、文本处理底层逻辑

# 二进制只读模式读取原始字节
with open("test.txt", "rb") as f:
    b_content = f.read()
# 类型：bytes
# 手动指定 UTF-8 解码为字符串（码点形态）
s_content = b_content.decode("utf-8")

3.2 文本模式（r/w/a）：自动完成编码转换

• 核心含义：默认按'字符'处理文件，自动完成编码 / 解码，读取时将字节转为 str（码点），写入时将 str 转为字节。
• 关键特征：必须指定 encoding 参数（否则使用系统默认编码，易导致乱码），读取返回 str 类型。
• 换行符处理：会自动转换跨平台换行符（如 Windows 的 \r\n 转为 \n），二进制模式则保留原始换行符。

示例：文本模式读写 UTF-8 编码文件

# 文本写入：自动将码点编码为 UTF-8 字节
with open("test.txt", "w", encoding="utf-8") as f:
    f.write("你好")
# 内存码点 → UTF-8 字节（6 字节）

# 文本读取：自动将 UTF-8 字节解码为码点
with open("test.txt", "r", encoding="utf-8") as f:
    s = f.read()
# 类型：str，值为 "你好"

3.3 字节字面量 b"xxx" 的底层逻辑

b"hello" 是 Python 的字节字面量语法，底层按 ASCII 编码生成字节：

• 仅支持 ASCII 范围内的字符（0~127），包含中文等非 ASCII 字符会直接报错。
• 由于 ASCII 是 UTF-8 的子集，b"hello" 与 'hello'.encode('utf-8') 的结果完全一致。

四、终端渲染：print() 的完整执行链路

执行 print('a') 时，字符从内存到屏幕的显示，并非码点直接映射，而是经过'编码→传输→解码→渲染'的完整流程：

1. Python 编码：将内存中的 Unicode 码点（U+0061），按终端默认编码（Linux/macOS 为 UTF-8，Windows 为 GBK）转为字节流。
2. 系统传输：Python 将字节流发送给操作系统，由操作系统传递给终端程序（如 cmd、Terminal）。
3. 终端解码：终端程序用相同的编码，将字节流还原为 Unicode 码点。
4. 字体渲染：终端调用系统字体引擎，根据码点查找对应的字符形状，最终绘制到屏幕上。

五、Python 容器补充:bytes 与 bytearray

开发中易混淆 bytes 与 Python 的'数组'类型，bytes不是 Java 中的可变字节数组 byte[], bytes是不可变字节序列。

六、核心总结

1. 码点是核心：内存中字符串的本质是 Unicode 码点集合，Python 封装了底层变长存储，实现高效索引。
2. 编码是桥梁：仅发生在'内存↔存储 / 传输'的边界，编码是'码点→字节'，解码是'字节→码点'，规则必须一致。
3. 模式分两类：Python 文件操作的 b 模式直接处理字节，非 b 模式自动完成编码转换。
4. 渲染靠终端：print() 的显示依赖'Python 编码 + 终端解码 + 字体渲染'，编码不匹配会导致乱码。