Python 爬虫实战：使用 requests 和正则解析前程无忧招聘信息

定义爬虫类

为了代码的可维护性，我们将逻辑封装在一个类中。

class JobScraper:
    def __init__(self):
        # 设置基础 URL
        self.base_url = 'https://search.51job.com/list/'
        # 设置请求头，伪装成浏览器
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
        }
        # 初始化 CSV 写入器
        self.csv_file = None
        self.writer = None

    def start(self):
        # 创建 CSV 文件
        if not os.path.exists('python_招聘数据.csv'):
            with open('python_招聘数据.csv', mode='w', encoding='utf-8-sig', newline='') as f:
                writer = csv.DictWriter(f, fieldnames=[
                    '标题', '公司名字', '城市', '薪资', '招聘信息', 
                    '公司属性', '公司规模', '企业性质', '发布日期', 
                    '公司详情页', '招聘详情页'
                ])
                writer.writeheader()
        
        # 遍历多页数据
        for page in range(1, 11):
            print(f'正在爬取第 {page} 页...')
            try:
                self.fetch_page(page)
                # 避免请求过快被封禁，增加延时
                time.sleep(1)
            except Exception as e:
                print(f'第 {page} 页爬取失败：{e}')
                continue

    def fetch_page(self, page):
        # 拼接 URL
        url = f'{self.base_url}010000%252C020000%252C030200%252C040000%252C090200,000000,0000,00,9,99,python,2,{page}.html'
        
        # 发送请求
        response = requests.get(url=url, headers=self.headers, timeout=10)
        
        # 检查状态码
        if response.status_code == 200:
            # 解析数据
            data_list = self.parse_data(response.text)
            # 保存数据
            self.save_to_csv(data_list)
        else:
            raise Exception(f'请求失败，状态码：{response.status_code}')

    def parse_data(self, html_content):
        # 使用正则提取 JSON 字符串
        # window.__SEARCH_RESULT__ = (.*?)</script>
        pattern = r'window.__SEARCH_RESULT__\s*=\s*(.*?)</script>'
        match = re.search(pattern, html_content, re.S)
        
        if not match:
            return []
        
        json_str = match.group(1).strip()
        
        try:
            json_data = json.loads(json_str)
            # 获取职位列表
            jobs = json_data.get('engine_jds', [])
            return jobs
        except json.JSONDecodeError:
            print('JSON 解析失败')
            return []

    def save_to_csv(self, jobs):
        file_path = 'python_招聘数据.csv'
        with open(file_path, mode='a', encoding='utf-8-sig', newline='') as f:
            writer = csv.DictWriter(f, fieldnames=[
                '标题', '公司名字', '城市', '薪资', '招聘信息', 
                '公司属性', '公司规模', '企业性质', '发布日期', 
                '公司详情页', '招聘详情页'
            ])
            for job in jobs:
                item = {
                    '标题': job.get('job_name', ''),
                    '公司名字': job.get('company_name', ''),
                    '城市': job.get('workarea_text', ''),
                    '薪资': job.get('providesalary_text', ''),
                    '招聘信息': '|'.join(job.get('attribute_text', [])),
                    '公司属性': job.get('companyind_text', ''),
                    '公司规模': job.get('companysize_text', ''),
                    '企业性质': job.get('companytype_text', ''),
                    '发布日期': job.get('issuedate', ''),
                    '公司详情页': job.get('company_href', ''),
                    '招聘详情页': job.get('job_href', '')
                }
                writer.writerow(item)
                print(f'已保存：{item["标题"]}')

if __name__ == '__main__':
    scraper = JobScraper()
    scraper.start()

关键技术点详解

1. 正则表达式匹配

在解析过程中，我们使用了 re.search 配合正则模式 r'window.__SEARCH_RESULT__\s*=\s*(.*?)</script>'。

• \s*：匹配任意空白字符（空格、换行等）零次或多次。
• (.*?)：非贪婪匹配，捕获中间的内容。
• re.S：让 . 可以匹配换行符，确保能跨行匹配整个 JSON 字符串。

2. 请求头设置

服务器通常会检测 User-Agent 字段来判断请求来源。如果不设置，可能会被识别为脚本而拒绝服务。本例中设置了 Chrome 浏览器的 User-Agent 进行伪装。

3. 异常处理与延时

• 使用 try-except 块捕获网络请求或解析过程中的异常，防止程序崩溃。
• 使用 time.sleep(1) 在每次请求间暂停 1 秒，降低对目标服务器的压力，符合爬虫伦理。

4. CSV 文件编码

保存 CSV 时指定 encoding='utf-8-sig'，这样 Excel 打开中文不会出现乱码。newline='' 参数是为了让 csv 模块正确处理换行符。

注意事项与合规性

1. 遵守 robots.txt：在爬取前请检查目标网站的 robots.txt 协议，确认是否允许爬取。
2. 频率控制：不要短时间内发送大量请求，以免被 IP 封禁。
3. 数据用途：仅将爬取的数据用于学习或个人研究，不得用于商业侵权或非法用途。
4. 隐私保护：注意不要抓取涉及个人隐私的信息。

总结

本文详细介绍了使用 Python 爬取前程无忧招聘信息的全过程。通过结合 requests 发起请求、re 进行正则提取、json 解析数据结构以及 csv 保存结果，我们构建了一个基础的爬虫框架。在实际应用中，还可以进一步引入代理 IP、Cookie 池、Selenium 反反爬等技术来应对更复杂的场景。希望本文能为初学者提供清晰的入门指引。