前言
网络爬虫（Web Crawler），也称为网页蜘蛛或网页机器人，是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓取等。
爬虫的基本原理
- 种子 URL：爬虫从一个或多个种子 URL 开始，这些 URL 是起点。
- 发送请求：爬虫向这些种子 URL 发送 HTTP 请求，通常是 GET 请求。
- 获取响应：服务器返回网页的 HTML 内容作为响应。
- 解析内容：爬虫解析 HTML 内容，提取所需的数据（如文本、链接、图片等）。
- 提取链接：从网页中提取出所有链接，并将这些链接加入待访问队列。
- 重复过程：爬虫重复上述步骤，直到达到某个停止条件，如爬取了一定数量的页面，或所有页面都被爬取完毕。
爬虫的分类
- 通用爬虫：设计用于抓取整个互联网的大量网页。搜索引擎（如 Google、Bing）的爬虫就是通用爬虫。
- 聚焦爬虫：专注于特定主题或领域，抓取相关网页。比如，一个新闻爬虫只抓取新闻网站的内容。
- 增量爬虫：仅抓取自上次爬取以来发生变化或更新的网页，适用于动态内容更新频繁的网站。
爬虫的合法性和道德
在编写和运行爬虫时，必须遵循以下原则：
- 遵守网站的 robots.txt：大多数网站都有一个 robots.txt 文件，规定了哪些页面允许被爬取，哪些不允许。爬虫应当尊重这些规则。
- 避免过度抓取：设置适当的抓取频率，避免对服务器造成过大负担。
- 尊重版权和隐私：不应抓取或使用受版权保护的内容，或涉及用户隐私的数据。
- 获取许可：在某些情况下，最好获得网站管理员的许可，特别是当你打算频繁地抓取大量数据时。
通过以上方法和原则，可以编写高效、可靠且合规的网络爬虫来满足数据采集的需求。
侦察
打开页面后，使用 F12 开发者工具检查定位关键元素。在网络中刷新页面，搜索关键字查看在页面中的渲染情况，确认是否包含目标数据。在请求头中确定数据来源地址及请求方法。
源代码
import re
import os
import requests
folder = 'music'
if not os.path.exists(folder):
os.makedirs(folder)
url = 'https://music.163.com/playlist?id=3778678'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36'
}
response = requests.get(url, headers=headers)
html_data = re.findall(r'<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text)
for num_id, title in html_data:
music_url = f'https://music.163.com/song/media/outer/url?id=.mp3'
music_content = requests.get(music_url, headers=headers)
(os.path.join(folder, title + ), ) f:
f.write(music_content.content)
(num_id, title)
