Python 面试高频考点：模块、装饰器与异步编程详解

面试提示：不要只罗列名字，要解释场景。例如 __new__ 常用于单例模式或不可变类型定制；__slots__ 可用于优化内存。注意区分双下划线（特殊方法）与单下划线（约定私有成员）的区别。

4. 数据爬虫遇到验证码的解决思路

验证码旨在防止自动化访问，解决时需兼顾技术能力与合规性。

1. 人工介入：小规模任务可暂停程序等待人工输入。
2. 第三方服务：如 2Captcha、Anti-Captcha，通过 API 提交图片获取识别结果。
3. 图像识别：针对简单验证码，可用 OpenCV + Tesseract 进行 OCR。
4. 模拟行为：使用 Selenium 等无头浏览器模拟人类操作，降低触发频率。
5. 网络策略：轮换 IP、调整请求头、遵守 robots.txt 及抓取间隔。

示例（调用第三方 API）：

import requests
import time

response = requests.post('http://2captcha.com/in.php', data={
    'key': 'YOUR_API_KEY',
    'method': 'post',
    'json': 1,
    'file': open('captcha.png', 'rb')
})
captcha_id = response.json().get('request')

for _ in range(30):
    time.sleep(5)
    res = requests.get(f'http://2captcha.com/res.php?key=YOUR_API_KEY&action=get&id={captcha_id}&json=1')
    if res.json()['status'] == 1:
        print(res.json()['request'])
        break

面试提示：务必强调法律风险与道德规范。不要声称能破解所有验证码，重点展示对反爬机制的理解及合法的数据获取方案。

5. Scrapy 中的 Pipelines 工作原理

Item Pipeline 负责处理爬虫提取后的数据，如清洗、验证、去重或存储。

工作流程：

1. 定义：在 pipelines.py 中编写类，继承自 object。
2. 配置：在 settings.py 的 ITEM_PIPELINES 字典中启用，值代表优先级（越小越先执行）。
3. 执行：Scrapy 按顺序将 Item 传递给每个 Pipeline。

核心方法：

• process_item(self, item, spider)：处理数据，必须返回 Item。
• open_spider(self, spider)：爬虫启动时初始化资源。
• close_spider(self, spider)：爬虫结束时清理资源。

示例：

class MyPipeline:
    def open_spider(self, spider):
        self.file = open('output.json', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        item['field'] = item['field'].strip()
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

6. 类的继承

子类可以通过继承复用父类的属性和方法，并支持重写（Override）。

class Animal:
    def __init__(self, name):
        self.name = name
    def speak(self):
        return "I am an animal."

class Dog(Animal):
    def speak(self):
        return f"Woof! My name is {self.name}"

dog = Dog("Buddy")
print(dog.speak())  # 输出：Woof! My name is Buddy

面试提示：提及多重继承时的 MRO（方法解析顺序），以及 super() 的作用。区分组合与继承的使用场景。

7. __repr__ 与 __str__ 的区别

两者都用于对象转字符串，但侧重点不同。

• __repr__：面向开发者，力求准确、可复现（最好能作为代码重建对象）。调试时常用。
• __str__：面向用户，力求可读性好。打印时优先调用此方法。

若未定义 __str__，Python 会回退使用 __repr__。

8. 实现一个简单的装饰器

装饰器本质是接收函数并返回新函数的闭包，用于增强功能而不修改原代码。

时间记录装饰器示例：

import time

def timing_decorator(func):
    def wrapper(*args, **kwargs):
        start_time = time.time()
        result = func(*args, **kwargs)
        end_time = time.time()
        print(f"Function {func.__name__} took {end_time - start_time:.4f} seconds")
        return result
    return wrapper

@timing_decorator
def example_function(n):
    total = 0
    for i in range(n):
        total += i
    return total

result = example_function(1000000)

面试提示：提到 functools.wraps 的重要性，它能保留原函数的元数据（如 __name__）。讨论链式装饰器的执行顺序。

9. asyncio 模块及其用途

asyncio 是 Python 内置的异步 I/O 库，基于事件循环实现单线程并发。

核心概念：

• 协程：用 async def 定义，支持 await 挂起。
• 事件循环：调度协程执行。
• Task：封装协程以便并发运行。

适用场景：高并发 I/O 密集型任务（如网络请求、爬虫），不适合 CPU 密集型任务。

示例：

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ['https://example.com' for _ in range(5)]
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        for content in results:
            print(content)

if __name__ == '__main__':
    asyncio.run(main())

10. os.path 模块的功能与应用

该模块提供跨平台的路径操作函数，确保代码在不同操作系统下兼容。

常用函数：

• join(path1, path2...)：安全拼接路径。
• splitext(path)：分离文件名与扩展名。
• exists(path)：检查路径是否存在。
• abspath(path)：获取绝对路径。

示例：

import os
file_path = os.path.join('folder', 'subfolder', 'file.txt')
if os.path.isfile(file_path):
    with open(file_path, 'r') as f:
        content = f.read()

面试提示：强调跨平台兼容性（Windows 的 ackslash vs Unix 的 /）。了解 pathlib 是较新的替代方案，也可适当提及。