基于 n8n 与 Web Unlocker 的自动化资讯抓取与推送系统

Web Unlocker 的优势在于自动处理验证码（图形、滑动、Google reCAPTCHA）、模拟真实浏览行为（动态 UA、鼠标轨迹等）、内置失败重试与自动换 IP 机制。开发者无需自己处理这些细节，系统会根据响应状态智能切换策略，最大限度提升成功率。

3、全球住宅/移动 IP 资源，支持多语言集成，科研集成便捷

Web Unlocker API 的底层服务依托全球 IP 资源池，涵盖住宅、移动、数据中心 IP，并支持灵活的地理位置选择（如按国家、城市、运营商筛选），非常适合做跨地区数据对比或访问受限资源。

同时，接口以 RESTful 形式提供，官方支持 Python、Node.js、Java、C# 等多种语言 SDK，并提供详细文档与日志追踪系统，方便科研人员快速集成至已有数据管道或定时调度系统中。

四、Web Unlocker API 实战

下面将介绍如何利用 Web Unlocker + n8n + ChatGPT API，构建一个完全自动化的新闻摘要推送系统，实现从新闻采集、摘要生成、到社群发布的全链路自动化。

1. 配置网页解锁器

使用 Web Unlocker 的第一步，是在后台完成基础配置。在功能面板中，依次点击进入'代理 & 抓取基础设施'板块，这里汇集了所有面向网页数据提取的核心服务。在众多工具中，选择'网页解锁器'（Web Unlocker），这是专为破解复杂网站反爬机制而设计的一体化解决方案。

进入网页解锁器配置界面后，接下来的操作就是填写一些基础设置内容。首先，我们需要为当前的解锁通道添加一个清晰的通道描述。虽然这个字段在技术上不是必填项，但强烈建议为每个通道设定有意义的名称，这样也有利于后续任务的开发和回顾：

完成基础设置并保存后，系统将自动生成一个我们自己命名的通道，并跳转至该通道的详细信息页。在此页面中，可以查看与该通道相关的完整配置信息：

选择'配置'，选中'网页解锁器'进行使用：

2. 爬取相关数据

首先导入了一些必要的 Python 模块。requests 用于发送 HTTP 请求，BeautifulSoup 负责解析返回的 HTML 内容，warnings 则用来处理可能出现的警告信息。接下来是代理配置部分。由于目标网站有一定的反爬机制，我使用了 Web Unlocker 提供的代理服务来绕过限制。通过填写 customer_id、zone_name 和 zone_password 这三个参数，确认了自己的用户身份。然后根据这些信息构建了一个代理 URL，并将其分别绑定到 HTTP 和 HTTPS 协议上，存入 proxies 字典中。这样一来，在后续使用 requests 发起请求时，就可以自动通过代理服务器进行访问，提升稳定性和成功率。

# 忽略 SSL 警告
import warnings
warnings.filterwarnings('ignore', message='Unverified HTTPS request')

# 您的 Web Unlocker 凭证（根据配置页面更新）
proxy_host = "YOUR_PROXY_HOST"
proxy_port = "YOUR_PROXY_PORT"
username = "YOUR_USERNAME"
password = "YOUR_PASSWORD"

# 代理设置 - 支持多种格式
proxy_url = f"{proxy_host}:{proxy_port}"
proxy_auth = f"{username}:{password}"

# 主要代理配置
proxies = {
    "http": f"http://{proxy_auth}@{proxy_url}",
    "https": f"http://{proxy_auth}@{proxy_url}"
}

接下来，通过 Web Unlocker 代理服务向目标网站发送 HTTP 请求，获取新闻页面的内容。拿到 HTML 响应后，使用 BeautifulSoup 对页面进行解析，并提取新闻标题和链接信息。为了提高抓取的鲁棒性，我设计了一个多选择器尝试机制，以应对网页结构可能存在的变化或不一致性。

def parse_36kr_news(html_content, url):
    """解析 36 氪新闻内容"""
    soup = BeautifulSoup(html_content, 'html.parser')
    articles = []
    # 多种可能的新闻项选择器
    selectors = [
        'a.article-item-title', '.article-item-title', 'a[class*="title"]',
        '.news-item a', '.article-title a', 'h3 a', 'h2 a',
        '.item-title a', 'a[href*="/p/"]', 'a[href*="36kr.com"]'
    ]
    print(f"正在解析页面：{url}")
    for selector in selectors:
        try:
            elements = soup.select(selector)
            if elements:
                print(f"使用选择器 '{selector}' 找到 {len(elements)} 个元素")
                for element in elements:
                    title = element.get_text(strip=True)
                    link = element.get("href")
                    if title and len(title) > 5:  # 过滤掉太短的标题
                        # 处理相对链接
                        if link:
                            if link.startswith("/"):
                                full_link = f"https://36kr.com{link}"
                            elif not link.startswith("http"):
                                full_link = f"https://36kr.com/{link}"
                            else:
                                full_link = link
                        else:
                            full_link = "链接不可用"
                        articles.append({'title': title, 'link': full_link, 'source': url})
            if articles:
                break
        except Exception as e:
            print(f"选择器 '{selector}' 解析失败：{e}")

得到爬取到的结果如下：

3. 流程自动化平台 n8n

n8n（'node, no-code'） 是一款开源、可扩展的流程自动化工具，功能类似 Zapier，但更灵活、更适合开发者使用。在本项目中，n8n 承担'调度器'和'执行器'的角色，负责从新闻网站抓取数据、调用摘要生成、格式化输出并推送至群聊。

首先，我们使用 n8n 的定时器（Cron 节点）设定每日定时执行任务，如早 9 点和晚 6 点自动启动流程。

然后自动访问目标新闻网站（如 36 氪、虎嗅）首页，获取 HTML 内容：

利用节点提取每篇文章的标题与链接，结构化输出为 JSON 数据格式：

然后调用 GPT-4 API，为每条新闻生成 50-100 字的摘要内容。

4. AI 摘要生成模块（基于 ChatGPT API）

在本系统中，我们使用 OpenAI 的 ChatGPT（GPT-4）API 对抓取到的新闻内容进行摘要生成。相比传统关键词提取工具，GPT-4 能更准确理解文章意图，生成具备'新闻编辑感'的摘要内容。

接口地址：https://api.openai.com/v1/chat/completions

为了确保摘要高质量，系统内置了'提示词模板'：

{
  "role": "system",
  "content": "你是一名资深 IT 行业媒体编辑，请对以下新闻生成简洁明了的摘要，要求语言客观、中立、不重复标题，字数控制在 150 字以内。"
}

每条新闻由 title 和 url 组成，通过用户 prompt 传入：

{
  "role": "user",
  "content": "标题：小鹏'瘦身'，蔚来学得会吗？ 链接：https://36kr.com/p/3305015892810496"
}

得到的结果如下：

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "依靠爆款策略、成本控制和管理重构，小鹏蹚出一条路，朝着盈利更进一步，但还不能'半场开香槟'。同样亟需扭亏的蔚来，试图复制小鹏'逆袭'，战略大方向没有错，但在具体战术上仍有众多待解难题。"
      }
    }
  ]
}

5. 自动发送新闻摘要到微信群聊

因为n8n 并不直接支持推送数据到微信上，但是企业微信支持自定义机器人，通过Webhook地址即可实现自动发送消息到指定群聊，安全且易用。

同时我们可以使用一些第三方的微信 API 接口来实现这个数据的推送，比如将数据推送到某一个公众号的服务器上面，由其再发到自己微信客户端的聊天窗口上。这里依然使用 HTTP Request 节点来执行这个动作，具体是通过向WxPusher 发送 GET请求，之后再发送给用户的聊天窗口。

WxPusher (微信推送服务) 是一个使用微信公众号作为通道的，实时信息推送平台，可以通过调用 API 的方式，把信息推送到微信上，无需安装额外的软件，即可做到信息实时通知。在摘要生成后，新增 HTTP Request 节点，调用 URL，发送摘要文本，同时消息内容格式支持 Markdown，可以展示标题 + 摘要 + 链接，方便阅读。

我们已经在前面节点中用 OpenAI 或其它方式生成了摘要文本，存储在 {{json["summary"]}}，新闻标题在 {{json["title"]}}，新闻链接在 {{json["url"]}}。在 n8n 里配置 HTTP Request 节点，Method 选 POST，Headers 设置 Content-Type: application/json。Body（Raw JSON）：

{
  "msgtype": "markdown",
  "markdown": {
    "content": "【{{$json[\"title\"]}}】\n> {{$json[\"summary\"]}}\n\n[阅读全文]({{$json["url"]}})"
  }
}

按照上上面的配置，就会显示创建发送任务成功，手机端就可以接收到每天自动的新闻推送了：

同时我们也可以使用 Python 进行消息推送，代码参考如下：

def wxPusher_send_message_post(message):
    import requests
    import json
    app_token = 'YOUR_APP_TOKEN'
    UID = 'YOUR_UID'
    data = {
        "appToken": app_token,
        "content": message,
        "summary": message,
        "contentType": 1,
        "topicIds": [123],
        "uids": [UID],
        "url": "https://wxpusher.zjiecode.com",
        "verifyPay": False
    }
    json_data = json.dumps(data)
    url = "https://wxpusher.zjiecode.com/api/send/message"
    headers = {'Content-Type': "application/json",}
    request = requests.post(url, data=json_data, headers=headers)
    print("request:", request)
    return request

wxPusher_send_message_post('好的')

通过这一闭环自动化设计，我们不仅解决了反爬痛点，还极大提升了信息处理与分发的效率。借助 n8n 自动化流程编排与 ChatGPT 文本生成模型，我们进一步将整个内容流程自动化成一个可复用、低门槛的工作流，极大节省了人工整理与发布成本。

五、总结

本文围绕从反爬机制的实战分析出发，我们引入了 Web Unlocker API，它以一种'即插即用'的方式，极大地简化了复杂网页的采集过程，真正做到了你只管提 URL，其他我来搞定！

最关键的是，这一切只需要注册相关服务并启用试用额度即可开启。提供的新用户试用配额足以支撑你搭建一个日更级别的资讯采集系统，零门槛、免运维、快速见效，如果你也想提升专业影响力，实现内容日更自动化，可以尝试搭建。