从零构建国产电视剧评分数据集：一个爬虫实战记录

打开保存的 HTML 文件，能看到诸如《藏药令》这样的电视剧信息，说明内容不是动态注入的，urllib3 下载没毛病。

接下来把 137 个页面都下载下来。在循环里每次暂停一秒，别太快给人家服务器添麻烦。文件名按 tv1.html 到 tv136.html 递增（实际有 136 页，我习惯留一页容错，后面提取时处理 1~136）。

import time

for i in range(2, 137):
    url = "https://www.fschurun.com/vodshow/13--------" + str(i) + "---.html"
    print("begin download:", url)
    html = download_content(url)
    filename = "tvs_html/tv" + str(i) + ".html"
    save_to_file(filename, html)
    print("download end")
    time.sleep(1)

执行过程中，控制台会每隔一秒打印进度。跑完后，tvs_html 文件夹里就有了一百多个 HTML 文件。

提取数据

现在要从 HTML 里抓出我们需要的信息。用 BeautifulSoup 解析比较省事。先写个函数从文件创建 BeautifulSoup 对象。

from bs4 import BeautifulSoup

def create_doc_from_file(filename):
    fo = open(filename, "r", encoding="utf-8")
    html_content = fo.read()
    fo.close()
    doc = BeautifulSoup(html_content, "html.parser")
    return doc

观察页面结构：每个电视剧是一个 li，外层是一个 div，class 为 ewave-vodlist__box。评分放在 class="ewave-vodlist__thumb lazyload" 的 div 里的 span 下；剧名是 class="ewave-vodlist__detail" 下的 h4；主演是同一个 detail div 里的 p。

第一次尝试直接提取文本，结果带了一堆换行和多余空格。

写个正则清理一下：

import re

def remove_extra_spaces(string):
    string = re.sub(' +', ' ', string)
    string = string.strip().replace("\n", " ")
    return string

下面函数从一个 HTML 文件解析出所有电视剧的信息，返回字典列表。注意评分那个 span 有两个 class，我们用 find 定位。

def get_tv_from_html(html_file_name):
    doc = create_doc_from_file(html_file_name)
    box_list = doc.find_all("div", class_="ewave-vodlist__box")
    tv_list = []
    for box in box_list:
        rating = box.find("div", class_="ewave-vodlist__thumb lazyload").find("span", class_="pic-tag pic-tag-h").text
        title = box.find("div", class_="ewave-vodlist__detail").find("h4", class_="title text-overflow").text
        stars = box.find("div", class_="ewave-vodlist__detail").find("p", class_="text text-overflow text-muted hidden-xs text-actor").text
        tv_dict = {}
        tv_dict['title'] = title
        tv_dict['rating'] = rating
        tv_dict['stars'] = remove_extra_spaces(stars)
        tv_list.append(tv_dict)
    return tv_list

用 tv1.html 试一下，打印出来干净多了：

再测试一下第二个文件，确认函数没问题：

tv_list = get_tv_from_html("tvs_html/tv2.html")
print(tv_list)

生成的字典列表也符合预期：

处理所有页面并保存 CSV

现在遍历所有本地文件，把结果汇总到一个大列表。

all_tv_dict = []
for i in range(1, 136):  # 注意我们下载了 tv1~tv136
    filename = "tvs_html/tv" + str(i) + ".html"
    dict_list = get_tv_from_html(filename)
    all_tv_dict = all_tv_dict + dict_list
print(len(all_tv_dict))

一共抓到了 9270 条电视剧记录。

最后一步，写入 CSV。表头用 title、rating、stars。

import csv

def write_dict_list_to_file(dict_list, filename, headers):
    fo = open(filename, "w", newline="", encoding="utf-8")
    writer = csv.DictWriter(fo, headers)
    writer.writeheader()
    writer.writerows(dict_list)
    fo.close()

write_dict_list_to_file(all_tv_dict, "tv_rating.csv", ["title", "rating", "stars"])

代码运行完，当前目录就生成了 tv_rating.csv。

用 Excel 打开看看，9270 行数据整整齐齐。

这样，一份国产电视剧评分数据集就搞定了。从选目标、下载多页、提取清洗到保存 CSV，全流程跑通。如果你有自己的目标网站，调整选择器和翻页逻辑就行，剩下的代码基本可以复用。