Browser-Use + LightRAG Agent：利用 LLM 实现高效网页数据抓取

我们将导入必要的模块，并使用 Controller 来管理和保持多个代理之间的浏览器状态。它允许代理共享浏览会话，保持 Cookie、会话和标签页的一致性。

from browser_use import Agent, Controller
from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
import os
from lightrag.lightrag import LightRAG, QueryParam
from lightrag.llm import gpt_4o_mini_complete
import asyncio

# 加载环境变量
load_dotenv()

# 初始化控制器以保持浏览器状态
controller = Controller()

定义任务代理

我们初始化代理，以通过在 Google 中搜索特定关键词来查找和提取信息。然后，我们使用 ChatOpenAI 模型来处理和分析与 controller 连接的内容。

# 初始化第一个浏览器代理
agent1 = Agent(
    task="Go to google.com and find the article about Lora llm and extract everything about Lora",
    llm=ChatOpenAI(model="gpt-4o", timeout=25, stop=None),
    controller=controller
)

# 初始化第二个浏览器代理
agent2 = Agent(
    task="Go to google.com and find the article Supervised llm and extract everything about Supervised Fine-Tuning",
    llm=ChatOpenAI(model="gpt-4o", timeout=25, stop=None),
    controller=controller
)

异步执行任务

我们定义一个异步函数以实现任务的并发执行。我们将代理的最大步骤限制设置为 20，但可以根据需要调整。在每一步中，代理执行一个动作，结果包含该步骤的输出。如果任务完成，提取的内容将保存到文件中。

async def main():
    max_steps = 20
    # 逐步运行代理
    for i in range(max_steps):
        print(f'\n📍 步骤 {i+1}')
        action, result = await agent1.step()
        
        print('动作:', action)
        print('结果:', result)
        
        if result.done:
            print('\n✅ 任务成功完成！')
            print('提取的内容:', result.extracted_content)
            
            # 将提取的内容保存到文本文件
            with open('text.txt', 'w', encoding='utf-8') as file:
                file.write(result.extracted_content)
            print("提取的内容已保存到 text.txt")
            break

if __name__ == "__main__":
    asyncio.run(main())

配置 LightRAG 实例

主要步骤是使用必要的参数配置 LightRAG 实例。我们使用工作目录和轻量级 GPT-4o 模型作为默认语言模型进行初始化。

WORKING_DIR = "./dickens"
if not os.path.exists(WORKING_DIR):
    os.mkdir(WORKING_DIR)

rag = LightRAG(
    working_dir=WORKING_DIR,
    llm_model_func=gpt_4o_mini_complete
)

数据插入与检索

我们从指定路径读取 text.txt 的内容，并使用 rag.insert() 将其插入 RAG 系统。

with open("text.txt", "r", encoding="utf-8") as f:
    rag.insert(f.read())

接下来，我们可以对查询执行不同类型的搜索：

1. 简单搜索 (Naive)：查找直接包含查询关键字的文档，不考虑关系。
2. 局部搜索 (Local)：检索与查询及其直接邻居相关的信息。
3. 全局搜索 (Global)：考虑整个知识图谱，查看更广泛的间接关系。
4. 混合搜索 (Hybrid)：结合局部和全局搜索的优点。

# 执行简单搜索
print(rag.query("what is Supervised Fine-Tuning", param=QueryParam(mode="naive")))

# 执行局部搜索
print(rag.query("what is Supervised Fine-Tuning", param=QueryParam(mode="local")))

# 执行全局搜索
print(rag.query("what is Supervised Fine-Tuning", param=QueryParam(mode="global")))

# 执行混合搜索
print(rag.query("what is Supervised Fine-Tuning", param=QueryParam(mode="hybrid")))

最佳实践与安全考量

性能优化

• 缓存机制：对于频繁访问的网站，建议启用浏览器缓存以减少重复请求。
• 模型选择：根据任务复杂度选择合适的 LLM 模型。轻量级任务可使用小模型，复杂推理需使用大模型。
• 并发控制：在批量抓取时，注意控制并发数量，避免触发目标网站的反爬机制。

伦理与合规

• 遵守 robots.txt：在抓取任何网站前，请检查其 robots.txt 文件，确保未禁止爬虫访问。
• 尊重版权：仅将抓取的数据用于教育或研究目的，避免侵犯知识产权。
• 频率限制：合理设置请求间隔，避免对目标服务器造成过大压力。

结论

不仅仅是技术进步，LightRAG 和 Browser-Use 潜在地可以从根本上改变我们与信息的互动方式。它们提供更准确和全面的搜索能力、对复杂问题的精确回答，以及始终反映最新知识的响应。该方案结合了浏览器自动化的灵活性与图检索的深度理解能力，适用于教育、研究和商业等多个领域。未来，随着多模态能力的进一步增强，此类 AI 代理将在信息获取与分析方面发挥更大作用。