Java API 实战：从基础爬虫构建到条件数据提取，详解 URL 与正则策略

可以通过标签或关键词进行过滤。比如只提取 <a> 标签链接，或者利用 contains() 方法筛选特定文本。

以下示例演示如何提取包含 "Java" 关键词的标题：

Pattern pattern = Pattern.compile("<title>(.*?)</title>");
Matcher matcher = pattern.matcher(htmlContent);
while (matcher.find()) {
    String title = matcher.group(1);
    if (title.contains("Java")) {
        System.out.println(title);
    }
}

2. 贪婪与非贪婪匹配

正则表达式中的量词行为直接影响匹配结果，理解这一点至关重要。

• 贪婪匹配：默认模式，尽可能匹配最长字符串。例如 .* 会吞掉中间的所有内容。
• 非贪婪匹配：在量词后加 ?，尽可能匹配最短字符串。

对比一下这两种写法的效果：

• 贪婪 "<div>(.*)</div>"：可能一次性匹配多个 div 之间的所有内容。
• 非贪婪 "<div>(.*?)</div>"：能精准捕获每个 div 内部的独立内容。

三、正则表达式核心类

1. 基础语法速览

掌握元字符是编写正则的前提：. 匹配任意字符，* 匹配 0 次或多次，+ 匹配 1 次或多次，() 用于分组。预定义类如 \d（数字）、\w（单词字符）也能简化书写。

2. Pattern 与 Matcher

Java 处理正则主要依靠这两个类配合使用。

Pattern 类代表编译后的正则表达式，建议提前编译以复用，减少性能开销。

Pattern pattern = Pattern.compile("\\d+"); // 匹配 1 个或多个数字

Matcher 类负责执行匹配操作。常用方法包括 find() 查找下一个子序列，group() 获取匹配内容，以及 matches() 判断整体是否匹配。

Matcher matcher = pattern.matcher("abc123def456");
while (matcher.find()) {
    System.out.println(matcher.group()); // 输出：123、456
}

四、实战注意事项

1. 规避反爬机制

生产环境中直接裸奔容易触发风控。建议设置合理的请求间隔，利用 Thread.sleep() 控制频率。同时，添加模拟浏览器的请求头，特别是 User-Agent。

conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)");

2. 性能优化

对于频繁使用的正则，务必提前编译为 Pattern 实例。过度复杂的表达式不仅难维护，还会拖慢运行速度。

3. 合规性提醒

技术无罪，但使用需谨慎。爬取前请查阅网站的 robots.txt 协议，尊重隐私与法律边界，避免引发不必要的风险。