基于 Rust 爬取 GitHub Trending 热门仓库

核心逻辑

src/main.rs 里主要做三件事：发请求、解析页面、写入文件。思路很直接，但实现时有几个细节值得注意。

初始化日志和导入依赖

use anyhow::{Context, Result};
use log::info;
use reqwest::Client;
use scraper::{Html, Selector};
use serde::Serialize;
use std::fs::File;
use std::path::Path;

fn init_logger() {
    env_logger::Builder::from_env(env_logger::Env::default().default_filter_or("info"))
        .init();
}

日志初始化放在入口处就行。这样跑起来后，不管是请求失败、选择器失效，还是文件写入出错，都能第一时间看到上下文。

定义数据结构

仓库信息最终要落成 JSON，所以先把结构体定好。字段设计尽量贴近页面内容，后面序列化也会省事很多。

#[derive(Debug, Serialize)]
struct GithubRepo {
    author: String,
    name: String,
    description: Option<String>,
    stars: String,
    forks: String,
    today_stars: String,
    url: String,
}

这里 description 用 Option<String>，是因为 Trending 页面上并不是每个仓库都有描述。这个地方如果硬拆成非可选字段，后面只会把容错性做差。

请求 Trending 页面

请求部分保留了 User-Agent，这是必要的。很多站点对默认客户端会比较敏感，不加的话经常会遇到奇怪的拒绝响应。

async fn fetch_trending_page(client: &Client) -> Result<String> {
    let url = "https://github.com/trending/rust?since=daily";
    info!("Fetching page: {}", url);

    let response = client
        .get(url)
        .header(
            "User-Agent",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
        )
        .send()
        .await
        .context(format!("Failed to request URL: {}", url))?;

    if !response.status().is_success() {
        return Err(anyhow::anyhow!("Request failed with status: {}", response.status()));
    }

    let html = response
        .text()
        .await
        .context("Failed to read response body")?;

    info!("Successfully fetched page (size: {} bytes)", html.len());
    Ok(html)
}

这一段的关键不在'能不能请求到'，而在于失败时能不能说清楚哪里出了问题。context 的价值就在这里：出错信息会比单纯的 ? 好读得多。

解析 HTML

真正的工作在解析这一步。这里我把选择器写得尽量稳一点，不再依赖太脆弱的样式类名，而是优先使用语义更明确的属性。

fn parse_repos(html: &str) -> Result<Vec<GithubRepo>> {
    info!("Starting to parse repositories...");
    let document = Html::parse_document(html);

    let repo_selector = Selector::parse("article.Box-row")
        .map_err(|e| anyhow::anyhow!("Failed to parse repo selector: {}", e))?;
    let author_name_selector = Selector::parse("h2 a")
        .map_err(|e| anyhow::anyhow!("Failed to parse author-name selector: {}", e))?;
    let desc_selector = Selector::parse("p")
        .map_err(|e| anyhow::anyhow!("Failed to parse description selector: {}", e))?;
    let stars_selector = Selector::parse("a[href$='/stargazers']")
        .map_err(|e| anyhow::anyhow!("Failed to parse stars selector: {}", e))?;
    let forks_selector = Selector::parse("a[href$='/forks']")
        .map_err(|e| anyhow::anyhow!("Failed to parse forks selector: {}", e))?;
    let today_stars_selector = Selector::parse("span[data-menu-button-text]")
        .map_err(|e| anyhow::anyhow!("Failed to parse today-stars selector: {}", e))?;

    let mut repos = Vec::new();

    for repo_node in document.select(&repo_selector) {
        let author_name_element = repo_node
            .select(&author_name_selector)
            .next()
            .context("Missing author/name element (GitHub page structure may have changed)")?;

        let author_name_text = author_name_element
            .text()
            .collect::<String>()
            .trim()
            .to_string();

        let (author, name) = author_name_text.split_once('/')
            .context(format!("Invalid author/name format: '{}' (expected 'author/name')", author_name_text))?;

        let author = author.trim().to_string();
        let name = name.trim().to_string();

        let url = author_name_element
            .value()
            .attr("href")
            .context("Missing href attribute for repo link")?;
        let url = format!("https://github.com{}", url);

        let description = repo_node
            .select(&desc_selector)
            .next()
            .map(|elem| elem.text().collect::<String>().trim().to_string());

        let stars = repo_node
            .select(&stars_selector)
            .next()
            .map(|elem| elem.text().collect::<String>().trim().to_string())
            .unwrap_or_else(|| "0".to_string());

        let forks = repo_node
            .select(&forks_selector)
            .next()
            .map(|elem| elem.text().collect::<String>().trim().to_string())
            .unwrap_or_else(|| "0".to_string());

        let today_stars = repo_node
            .select(&today_stars_selector)
            .next()
            .map(|elem| elem.text().collect::<String>().trim().to_string())
            .unwrap_or_else(|| "0".to_string());

        repos.push(GithubRepo {
            author,
            name,
            description,
            stars,
            forks,
            today_stars,
            url,
        });
    }

    info!("Successfully parsed {} repositories", repos.len());
    Ok(repos)
}

这里有几个点值得单独说一下。

• Selector::parse(...) 用 map_err 包了一层，是为了让选择器错误更容易定位。
• 描述信息用通用 p 标签提取，虽然不算'最严格'，但比死盯着某个容易变动的类名更耐用。
• 星标、分支和今日新增星标都做了默认值处理。页面偶尔缺字段时，不至于直接 panic。

写入 JSON 文件

抓到的数据最后写成 JSON 文件，方便后续分析或者二次处理。

fn save_repos_to_json(repos: &[GithubRepo], path: &str) -> Result<()> {
    info!("Saving repositories to JSON file: {}", path);

    let file = File::create(Path::new(path))
        .context(format!("Failed to create file: {} (check directory permissions)", path))?;

    serde_json::to_writer_pretty(file, repos)
        .context("Failed to serialize repos to JSON (invalid data format)")?;

    info!("Successfully saved {} repos to {}", repos.len(), path);
    Ok(())
}

to_writer_pretty 会把结果格式化输出，读起来比一整行压缩 JSON 舒服得多，调试也更方便。

主函数

主流程其实很清楚：初始化日志，创建客户端，拉页面，解析内容，写入文件。只要中间每一步都把错误上下文带好，排查问题会轻松很多。

#[tokio::main]
async fn main() -> Result<()> {
    init_logger();
    info!("Starting GitHub Trending Rust Crawler...");

    let client = Client::builder()
        .connect_timeout(std::time::Duration::from_secs(10))
        .timeout(std::time::Duration::from_secs(15))
        .build()
        .context("Failed to create HTTP client (check network or dependencies)")?;

    let html = fetch_trending_page(&client).await?;
    let repos = parse_repos(&html)?;
    save_repos_to_json(&repos, "trending_repos.json")?;

    info!("Crawler finished successfully! Check 'trending_repos.json' for results.");
    Ok(())
}

运行与验证

直接运行即可：

cargo run

如果想看更详细的日志，也可以把日志级别提到 debug：

RUST_LOG=debug cargo run

运行成功后，项目根目录会生成 trending_repos.json。文件里保存的是抓取到的热门仓库列表，字段包括作者、仓库名、描述、星标数、分支数、今日新增星标和仓库链接。

小结

这套实现的核心不复杂，但细节决定稳定性。reqwest 负责异步请求，scraper 负责解析页面，serde 负责把结构化数据落盘，tokio 和 anyhow 让流程和错误处理都更顺手。相比最初版本，这里最大的改进是把选择器和错误处理都做得更稳，面对 GitHub 页面轻微调整时，程序不至于立刻失效。整体上，它已经是一个可以长期维护的小型 Rust 爬虫范例。