基于 Web Unlocker 和 n8n 的自动化资讯采集与推送系统

进入网页解锁器配置界面后，填写一些基础设置内容。首先，我们需要为当前的解锁通道添加一个清晰的通道描述。虽然这个字段在技术上不是必填项，但强烈建议为每个通道设定有意义的名称，这样也有利于后续任务的开发和回顾。

完成基础设置并保存后，系统将自动生成一个我们自己命名的通道，并跳转至该通道的详细信息页。在此页面中，可以查看与该通道相关的完整配置信息。

选择'配置'，选中'网页解锁器'进行使用。

2. 爬取相关数据

首先导入了一些必要的 Python 模块。requests 用于发送 HTTP 请求，BeautifulSoup 负责解析返回的 HTML 内容，warnings 则用来处理可能出现的警告信息。接下来是代理配置部分。由于目标网站有一定的反爬机制，使用了代理服务来绕过限制。通过填写 customer_id、zone_name 和 zone_password 这三个参数，确认了自己的用户身份。然后根据这些信息构建了一个代理 URL，并将其分别绑定到 HTTP 和 HTTPS 协议上，存入 proxies 字典中。

import warnings

# 忽略 SSL 警告
warnings.filterwarnings('ignore', message='Unverified HTTPS request')

# 您的代理凭证（根据配置页面更新）
proxy_host = "brd.superproxy.io"
proxy_port = "33335"
username = "brd-customer-hl_d8430cdd-zone-keyanshuju1"
password = "yj4qaotb7edx"

# 代理设置 - 支持多种格式
proxy_url = f"{proxy_host}:{proxy_port}"
proxy_auth = f"{username}:{password}"

# 主要代理配置
proxies = {
    "http": f"http://{proxy_auth}@{proxy_url}",
    "https": f"http://{proxy_auth}@{proxy_url}"
}

接下来，通过代理服务向目标网站发送 HTTP 请求，获取新闻页面的内容。拿到 HTML 响应后，使用 BeautifulSoup 对页面进行解析，并提取新闻标题和链接信息。为了提高抓取的鲁棒性，设计了一个多选择器尝试机制，以应对网页结构可能存在的变化或不一致性。

from bs4 import BeautifulSoup

def parse_36kr_news(html_content, url):
    """解析 36 氪新闻内容"""
    soup = BeautifulSoup(html_content, 'html.parser')
    articles = []
    # 多种可能的新闻项选择器
    selectors = [
        'a.article-item-title', '.article-item-title', 
        'a[class*="title"]', '.news-item a', 
        '.article-title a', 'h3 a', 'h2 a', 
        '.item-title a', 'a[href*="/p/"]', 'a[href*="36kr.com"]'
    ]
    print(f"正在解析页面：{url}")
    for selector in selectors:
        try:
            elements = soup.select(selector)
            if elements:
                print(f"使用选择器 '{selector}' 找到 {len(elements)} 个元素")
                for element in elements:
                    title = element.get_text(strip=True)
                    link = element.get("href")
                    if title and len(title) > 5:  # 过滤掉太短的标题
                        # 处理相对链接
                        if link:
                            if link.startswith("/"):
                                full_link = f"https://36kr.com{link}"
                            elif not link.startswith("http"):
                                full_link = f"https://36kr.com/{link}"
                            else:
                                full_link = link
                        else:
                            full_link = "链接不可用"
                        articles.append({'title': title, 'link': full_link, 'source': url})
                if articles:
                    break
        except Exception as e:
            print(f"选择器 '{selector}' 解析失败：{e}")

得到爬取到的结果如下。

3. 流程自动化平台 n8n

n8n（'node, no-code'） 是一款开源、可扩展的流程自动化工具，功能类似 Zapier，但更灵活、更适合开发者使用。在本项目中，n8n 承担'调度器'和'执行器'的角色，负责从新闻网站抓取数据、调用摘要生成、格式化输出并推送至群聊。

首先，我们使用 n8n 的定时器（Cron 节点）设定每日定时执行任务，如早 9 点和晚 6 点自动启动流程。

然后自动访问目标新闻网站（如 36 氪、虎嗅）首页，获取 HTML 内容。

利用节点提取每篇文章的标题与链接，结构化输出为 JSON 数据格式。

然后调用 GPT-4 API，为每条新闻生成 50-100 字的摘要内容。

4. AI 摘要生成模块（基于 ChatGPT API）

在本系统中，使用 OpenAI 的 ChatGPT（GPT-4）API 对抓取到的新闻内容进行摘要生成。相比传统关键词提取工具，GPT-4 能更准确理解文章意图，生成具备'新闻编辑感'的摘要内容。

接口地址：https://api.openai.com/v1/chat/completions

为了确保摘要高质量，系统内置了'提示词模板'：

{
  "role": "system",
  "content": "你是一名资深 IT 行业媒体编辑，请对以下新闻生成简洁明了的摘要，要求语言客观、中立、不重复标题，字数控制在 150 字以内。"
}

每条新闻由 title 和 url 组成，通过用户 prompt 传入：

{
  "role": "user",
  "content": "标题：小鹏'瘦身'，蔚来学得会吗？\n链接：https://36kr.com/p/3305015892810496"
}

得到的结果示例：

{
  "choices": [{
    "message": {
      "role": "assistant",
      "content": "依靠爆款策略、成本控制和管理重构，小鹏蹚出一条路，朝着盈利更进一步，但还不能'半场开香槟'。同样亟需扭亏的蔚来，试图复制小鹏'逆袭'，战略大方向没有错，但在具体战术上仍有众多待解难题。"
    }
  }]
}

5. 自动发送新闻摘要到微信群聊

因为n8n 并不直接支持推送数据到微信上，但是企业微信支持自定义机器人，通过Webhook地址即可实现自动发送消息到指定群聊，安全且易用。

同时可以使用一些第三方的微信 API 接口来实现这个数据的推送，比如将数据推送到某一个公众号的服务器上面，由其再发到自己微信客户端的聊天窗口上。这里依然使用 HTTP Request 节点来执行这个动作，具体是通过向WxPusher 发送 GET请求，之后再发送给用户的聊天窗口。

WxPusher (微信推送服务) 是一个使用微信公众号作为通道的，实时信息推送平台，可以通过调用 API 的方式，把信息推送到微信上，无需安装额外的软件，即可做到信息实时通知。在摘要生成后，新增 HTTP Request 节点，调用 URL，发送摘要文本，同时消息内容格式支持 Markdown，可以展示标题 + 摘要 + 链接，方便阅读。

我们已经在前面节点中用 OpenAI 或其它方式生成了摘要文本，存储在 {{json["summary"]}}，新闻标题在 {{json["title"]}}，新闻链接在 {{json["url"]}}。在 n8n 里配置 HTTP Request 节点，Method 选 POST，Headers 设置 Content-Type: application/json。Body（Raw JSON）：

{
  "msgtype": "markdown",
  "markdown": {
    "content": "【{{$json[\"title\"]}}】\n> {{$json[\"summary\"]}}\n\n[阅读全文]({{$json["url"]}})"
  }
}

按照上述配置，就会显示创建发送任务成功，手机端就可以接收到每天自动的新闻推送了。

同时我们也可以使用 Python 进行消息推送，代码参考如下：

def wxPusher_send_message_post(message):
    import requests
    import json
    app_token = 'xxx'
    UID = 'xxx'
    data = {
        "appToken": app_token,
        "content": message,
        "summary": message,
        "contentType": 1,
        "topicIds": [123],
        "uids": [UID],
        "url": "https://wxpusher.zjiecode.com",
        "verifyPay": False
    }
    json_data = json.dumps(data)
    url = "https://wxpusher.zjiecode.com/api/send/message"
    headers = {'Content-Type': "application/json",}
    request = requests.post(url, data=json_data, headers=headers)
    print("request:", request)
    return request

wxPusher_send_message_post('好的')

通过这一闭环自动化设计，不仅解决了反爬痛点，还极大提升了信息处理与分发的效率。借助 n8n 自动化流程编排与 ChatGPT 文本生成模型，进一步将整个内容流程自动化成一个可复用、低门槛的工作流，节省了人工整理与发布成本。

五、总结

本文围绕从反爬机制的实战分析出发，引入了 Web Unlocker API，它以一种'即插即用'的方式，极大地简化了复杂网页的采集过程，真正做到了你只管提 URL，其他我来搞定！

最关键的是，这一切只需要注册相关服务并启用试用额度即可开启。提供的新用户试用配额足以支撑搭建一个日更级别的资讯采集系统，零门槛、免运维、快速见效。如果你也想提升专业影响力，实现内容日更自动化，可以尝试此方案。