1. 为什么科研人员需要掌握 Python 爬虫
科研人员常需手动复制粘贴文献数据，过程枯燥且易错。为了分析领域研究趋势，收集上千篇文献数据时，手动操作几乎不可能完成。这种需求促使了自动化解决方案的研究。
Python 爬虫能自动访问网页、抓取并整理信息。对于 Web of Science 这样的学术数据库，批量导出详细数据往往受限。编写爬虫是最高效的解决方案，可自动抓取文献完整信息并保存为 CSV 表格，直接导入 Excel 或分析软件。
使用自动化工具须遵守规则。Web of Science 有其服务条款，爬虫应以合理、适度、尊重服务器压力的原则运行。不能疯狂请求导致服务器瘫痪，这既不道德，也可能触发反爬机制。目标是高效辅助科研工作，而非攻击网站。在实战中，会讲解如何让爬虫行为更友好、更稳定。
2. 实战前的核心准备：环境与工具
开始前需准备环境与工具。
2.1 安装 Python 与必备库
确保电脑上安装了 Python 3.7 或以上版本。安装时勾选'Add Python to PATH'选项。
打开命令行工具，输入以下命令安装第三方库：
pip install requests beautifulsoup4 lxml pandas
各库作用如下：
- requests：模拟浏览器发送请求，获取网页 HTML 代码。
- beautifulsoup4：从 HTML 代码中提取目标信息（如标题、作者）。
- lxml：BeautifulSoup 的解析引擎，提升解析速度与准确性。
- pandas：处理表格数据，清洗整理抓取到的数据后导出 CSV。
2.2 理解网页结构：你的'藏宝图'
开始抓数据前，需看懂网页的 HTML 结构。
在浏览器中打开文献详情页，按下 F12 键打开开发者工具。点击左上角箭头图标，将鼠标移动到网页标题上点一下，开发者工具会自动高亮显示对应 HTML 代码。
它看起来大概是这样的：
<h1>Physical Education and Sport Pedagogy: A Review of Recent Research</h1>
或者作者信息可能在一个 div 里：
<div><strong>By:</strong> Smith, John; Doe, Jane</div>
需要关注的是标签（如 <h1>, <div>）和它们身上的 class 属性。这个 class 就像是给 HTML 元素起的名字，写爬虫时告诉 BeautifulSoup 找到特定 class 的元素并提取文字。花几分钟时间查看标题、作者、摘要、关键词分别对应什么 HTML 标签和 class，这是后续精准抓取数据的关键一步。
3. 破解网址规律：批量生成目标链接
这是整个爬虫项目的第一个技术难点，也是决定效率的关键。我们不可能手动去记录每一篇文章的网址，必须找到其中的规律。
回想手动操作过程：先输入检索词，点击搜索，得到结果列表。然后点击某一篇文章的标题，进入详情页。爬虫要模拟的正是这个'进入详情页'的动作。我们的目标不是去抓取搜索结果列表页，而是直接生成每一篇文献详情页的链接。
如何生成？奥秘就在浏览器地址栏的 URL 里。对比几个详情页的网址：
第一篇：.../full_record.do?...&=&...
第二篇：.../full_record.do?...&=&...
第三篇：.../full_record.do?...&=&...
