基于 n8n 与代理服务构建自动化资讯采集推送系统

由于目标网站有反爬机制，需配置代理服务来绕过限制。通过填写 customer_id、zone_name 和 zone_password 确认用户身份，构建代理 URL 绑定到 HTTP 和 HTTPS 协议。

import warnings
import requests
from bs4 import BeautifulSoup

# 忽略 SSL 警告
warnings.filterwarnings('ignore', message='Unverified HTTPS request')

# 代理配置示例（请替换为您的实际凭证）
proxy_host = "brd.superproxy.io"
proxy_port = "33335"
username = "your_username"
password = "your_password"

# 代理设置
proxy_url = f"{proxy_host}:{proxy_port}"
proxy_auth = f"{username}:{password}"
proxies = {
    "http": f"http://{proxy_auth}@{proxy_url}",
    "https": f"http://{proxy_auth}@{proxy_url}"
}

接下来，通过代理服务向目标网站发送请求，获取 HTML 内容。拿到响应后，使用 BeautifulSoup 解析，提取新闻标题和链接。为提高鲁棒性，设计多选择器尝试机制。

def parse_news(html_content, url):
    """解析新闻内容"""
    soup = BeautifulSoup(html_content, 'html.parser')
    articles = []
    
    # 多种可能的新闻项选择器
    selectors = [
        'a.article-item-title', '.article-item-title', 
        'a[class*="title"]', '.news-item a', 
        'h3 a', 'h2 a', '.item-title a'
    ]
    
    print(f"正在解析页面：{url}")
    for selector in selectors:
        try:
            elements = soup.select(selector)
            if elements:
                print(f"使用选择器 '{selector}' 找到 {len(elements)} 个元素")
                for element in elements:
                    title = element.get_text(strip=True)
                    link = element.get("href")
                    
                    if title and len(title) > 5:
                        # 处理相对链接
                        if link:
                            if link.startswith("/"):
                                full_link = f"https://example.com{link}"
                            elif not link.startswith("http"):
                                full_link = f"https://example.com/{link}"
                            else:
                                full_link = link
                        else:
                            full_link = "链接不可用"
                        
                        articles.append({
                            'title': title,
                            'link': full_link,
                            'source': url
                        })
                if articles:
                    break
        except Exception as e:
            print(f"选择器 '{selector}' 解析失败：{e}")
    return articles

3. 流程自动化平台 n8n

n8n 是一款开源、可扩展的流程自动化工具，适合开发者使用。在本项目中，n8n 承担'调度器'和'执行器'的角色。

首先，使用 n8n 的定时器（Cron 节点）设定每日定时执行任务，如早 9 点和晚 6 点自动启动流程。

然后自动访问目标新闻网站首页，获取 HTML 内容。利用节点提取每篇文章的标题与链接，结构化输出为 JSON 数据格式。

接着调用 GPT-4 API，为每条新闻生成 50-100 字的摘要内容。

4. AI 摘要生成模块

本系统使用 OpenAI 的 ChatGPT API 对抓取到的新闻内容进行摘要生成。相比传统关键词提取，GPT-4 能更准确理解文章意图。

接口地址：https://api.openai.com/v1/chat/completions

为确保摘要质量，系统内置提示词模板：

{
  "role": "system",
  "content": "你是一名资深 IT 行业媒体编辑，请对以下新闻生成简洁明了的摘要，要求语言客观、中立、不重复标题，字数控制在 150 字以内。"
}

每条新闻由 title 和 url 组成，通过用户 prompt 传入。

5. 自动发送新闻摘要到微信

n8n 并不直接支持推送数据到个人微信，但企业微信支持自定义机器人，或通过第三方服务如 WxPusher 实现。

WxPusher 是一个使用微信公众号作为通道的实时信息推送平台，无需安装额外软件即可做到信息通知。在摘要生成后，新增 HTTP Request 节点，调用 URL 发送摘要文本。

消息内容格式支持 Markdown，展示标题 + 摘要 + 链接。假设摘要存储在 {{json["summary"]}}，标题在 {{json["title"]}}，链接在 {{json["url"]}}。

在 n8n 里配置 HTTP Request 节点，Method 选 POST，Headers 设置 Content-Type: application/json。Body（Raw JSON）：

{
  "msgtype": "markdown",
  "markdown": {
    "content": "【{{$json[\"title\"]}}】\n> {{$json[\"summary\"]}}\n\n[阅读全文]({{$json["url"]}})"
  }
}

同时也可使用 Python 进行消息推送，参考代码如下：

def wx_pusher_send_message(message):
    import requests
    import json
    
    app_token = 'your_app_token'
    uid = 'your_uid'
    
    data = {
        "appToken": app_token,
        "content": message,
        "summary": message,
        "contentType": 1,
        "topicIds": [123],
        "uids": [uid],
        "verifyPay": False
    }
    
    json_data = json.dumps(data)
    url = "https://wxpusher.zjiecode.com/api/send/message"
    headers = {'Content-Type': "application/json"}
    
    request = requests.post(url, data=json_data, headers=headers)
    print("request:", request)
    return request

通过这一闭环自动化设计，我们不仅解决了反爬痛点，还极大提升了信息处理与分发的效率。借助 n8n 工作流编排与 AI 文本生成模型，将整个内容流程自动化成可复用、低门槛的工作流，节省了大量人工整理与发布成本。