跳到主要内容 亮数据 MCP 结合 Dify 构建自动化视频数据抓取与分析工作流 | 极客日志
编程语言 SaaS AI 算法
亮数据 MCP 结合 Dify 构建自动化视频数据抓取与分析工作流 基于 Dify 平台集成亮数据 MCP 工具，结合大语言模型构建自动化视频数据抓取与分析工作流。通过 Docker 部署 Dify，配置镜像加速，接入亮数据结构化数据订阅服务实现视频链接解析，并利用第三方 LLM 进行深度数据分析。该方案解决了复杂反爬场景下的数据获取难题，实现了从 URL 输入到智能报告输出的全流程自动化。
亮数据 MCP 结合 Dify：构建自动化视频数据抓取与智能分析工作流的深度实践
在当今数字媒体时代，视频内容已成为信息传播和用户交互的核心载体。以 TikTok、YouTube 等平台为代表的视频分享网站，蕴含着海量的商业、文化和舆情价值。然而，如何高效、稳定地从这些结构复杂、动态加载且具备反爬取机制的平台中获取结构化的视频数据，并对其进行深度分析，是数据科学家、市场分析师和开发者面临的共同挑战。本文将详细阐述一种前沿的解决方案：通过在 Dify 这一 LLM 应用开发平台中，集成亮数据的 MCP（多渠道代理）工具，构建一个从视频链接输入到数据抓取，再到 AI 智能分析的全自动化工作流。
第一章：基础环境搭建——稳定运行的基石
构建任何强大的数据应用，首先需要一个稳定、可复现的运行环境。我们选择使用 Docker 作为基础架构，它通过容器化技术将应用及其依赖项打包，确保了环境的一致性和隔离性，极大地简化了部署和运维的复杂性。
1.1 Docker Desktop 的定制化安装
为了优化系统资源分配并保持系统盘（C 盘）的整洁，我们将 Docker Desktop 的程序文件及数据文件全部安装到 D 盘。
首先，从 Docker 官方网站下载最新的 Docker Desktop Installer.exe 安装程序。
随后，在 D 盘规划并创建 Docker 的安装路径和数据存储路径，例如：
D:\Program Files\Docker (用于存放程序)D:\Program Files\Docker\data (用于存放 WSL 镜像及数据)
关键步骤在于使用命令行进行静默安装，这给予我们高度的自定义权限。打开一个具有管理员权限的 PowerShell 或命令提示符窗口，导航至安装包所在的目录，并执行以下命令：
Start - Process - FilePath ".\Docker Desktop Installer.exe" - ArgumentList 'install -- accept- license -- installation- dir= "D:\Program Files\Docker" -- wsl- default - data- root= "D:\Program Files\Docker\data" -- windows- containers- default - data- root= "D:\Program Files\Docker" ' - Wait
这条命令中的参数至关重要：
微信扫一扫，关注极客日志 微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
相关免费在线工具 加密/解密文本 使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
RSA密钥对生成器 生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑 基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
Base64 字符串编码/解码 将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
Base64 文件转换器 将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
Markdown转HTML 将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
--installation-dir: 明确指定了 Docker 程序本身的安装位置。--wsl-default-data-root: 指定了 Windows Subsystem for Linux (WSL) 2 发行版的数据存储根目录。Docker Desktop 在 Windows 上严重依赖 WSL2 来运行 Linux 容器，将此数据目录移出 C 盘，可以有效避免因镜像、容器和卷的不断增多而导致的系统盘空间耗尽问题。 安装完成后，我们可以检查 D:\Program Files\Docker 目录，确认相关文件及数据文件夹已成功创建，这标志着我们的定制化安装策略已成功实施。
在初次启动 Docker Desktop 的设置向导中，建议勾选 Add shortcut to desktop 以便于日后快速访问。
为了显著提升拉取 Docker 镜像的速度，配置国内镜像源是必不可少的一步。在 Docker Desktop 的设置（Settings）中，导航至 Docker Engine 选项卡，在右侧的 JSON 配置文件中加入 registry-mirrors 字段。这是一个包含多个镜像仓库 URL 的数组，Docker 会按顺序尝试从这些镜像拉取，从而避开直连海外 Docker Hub 可能遇到的网络瓶颈。
{ "builder" : { "gc" : { "defaultKeepStorage" : "20GB" , "enabled" : true } } , "experimental" : false , "registry-mirrors" : [ "https://docker.hpcloud.cloud" , "https://docker.m.daocloud.io" , "https://docker.unsee.tech" , "https://docker.1panel.live" , "http://mirrors.ustc.edu.cn" , "https://docker.chenby.cn" , "http://mirror.azure.cn" , "https://dockerpull.org" , "https://dockerhub.icu" , "https://hub.rat.dev" ] }
完成配置并点击 Apply & Restart 后，一个稳定、高效的本地容器化环境便搭建完成了，为后续部署 Dify 平台奠定了坚实的基础。
第二章：部署 Dify 平台——工作流的可视化编排中心 Dify 是一个开源的、强大的 LLM 应用开发平台，它允许用户通过可视化的界面编排和管理复杂的 AI 工作流（Workflow），将不同的工具、API 和模型组合起来，构建强大的应用程序。
我们从 Dify 的官方 GitHub 仓库获取项目代码。可以直接下载 ZIP 压缩包，或使用 git clone 命令克隆仓库，后者更便于未来的版本更新。
获取代码后，进入项目根目录下的 docker 子目录。在这里，我们需要进行关键的环境变量配置。将名为 .env.example 的文件复制一份，并重命名为 .env。
.env 文件是 Docker Compose 部署的核心配置文件，用于存放数据库密码、API 密钥等敏感信息和环境特定参数，将其与代码分离是现代应用开发的标准实践。
在 docker 目录下，打开命令行终端，执行以下命令即可一键启动 Dify 平台的所有服务，包括 Web 服务器、API 后端、数据库和中间件等。
docker compose 会读取同目录下的 docker-compose.yml 文件，并根据其定义自动拉取所需镜像、创建并启动所有关联的容器。-d 参数表示在后台（detached mode）运行。
初次启动时，Docker 会下载多个镜像，需要一些时间。当所有服务都成功启动并运行后，命令行会显示 done 的状态。
在浏览器中访问 http://127.0.0.1，即可看到 Dify 的欢迎界面。首次访问需要设置管理员账户的邮箱和密码，完成注册。
登录后，我们就进入了 Dify 的主控制台，可以开始创建我们的 AI 应用了。
第三章：亮数据 MCP 集成——解锁全网视频数据抓取能力 亮数据（Bright Data）是全球领先的网络数据平台，其提供的不仅仅是代理网络，更包含了一系列智能化的数据采集解决方案。其中，Structured Data Feeds（结构化数据订阅）工具，是一个强大的 MCP 实现，能够根据用户提供的 URL 和数据需求描述，自动处理 IP 轮换、验证码、浏览器指纹等复杂问题，直接返回干净的、结构化的 JSON 数据。这正是我们实现稳定视频数据抓取的核心能力。
应用类型选择'工作流（Workflow）'，并为其指定一个清晰的名称和描述，例如'视频数据分析工作流'。
一个工作流由多个节点构成，数据在节点间流动和处理。起点是'开始（Start）'节点，它定义了整个工作流的输入参数。我们点击该节点，为其添加一个输入字段。
我们将这个输入字段的类型设置为'段落（Paragraph）'，变量名（Variable Name）定义为 product_url，并适当增加最大长度限制（如 200 个字符），以确保能完整接收一个 URL。这个 product_url 变量将作为后续亮数据节点的目标抓取地址。
要使用亮数据的能力，首先需要将其作为一个工具集成到 Dify 中。
第一步，注册亮数据账户并获取 API 密钥。在亮数据的账户设置中，可以轻松找到并复制 API 密钥。
第二步，回到 Dify 平台，在工作流编辑界面的节点添加菜单中，选择'工具' -> 'MCP'，然后在搜索框中输入 bright，找到 Bright Data Web Scaper 工具并点击安装。
第三步，进行 API 授权。安装完成后，从顶部导航栏进入'工具'页面，找到已安装的亮数据 MCP，点击进行 API-KEY 授权配置。
将之前复制的亮数据 API 密钥粘贴到此处，并保存。
配置成功后，工具状态会显示为'已授权'，表明 Dify 现在已经具备了调用亮数据服务的能力。
返回工作流编辑界面，在'开始'节点后点击加号，选择'工具' -> Structured Data Feeds，将亮数据的核心功能节点添加到我们的工作流中。
Target URL : 我们需要将'开始'节点定义的 product_url 变量传递给这个字段。在字段中输入 / 或 {{，Dify 会智能提示可用的上游变量，我们选择 product_url 即可。Data Request Description : 这是亮数据 MCP 强大能力的体现。我们无需编写复杂的 CSS 选择器或 XPath，只需用自然语言描述我们想要从目标 URL 中获取什么数据。例如，对于一个 TikTok 视频链接，我们可以描述为：'请提取这个 TikTok 视频的作者名、视频描述、点赞数、评论数和分享数'。 至此，工作流的数据获取部分已经完成。当工作流运行时，用户输入的任何 URL 都将通过亮数据 MCP 进行智能解析和数据提取，其强大的代理网络和反屏蔽技术确保了极高的成功率和数据质量。
第四章：集成大语言模型——赋予数据分析的智慧 获取到的原始数据需要进一步的加工和提炼才能转化为有价值的洞察。我们通过集成一个大语言模型（LLM）节点，对亮数据返回的结构化数据进行深度的、智能化的分析。
我们选用第三方大语言模型服务作为 LLM 的服务提供商。首先，注册并登录该平台，在其 API-KEY 管理页面创建一个新的 API Key 并复制。
Dify 通过插件机制支持接入符合 OpenAI API 规范的任何模型服务。
填写以下配置信息：
API Base URL : https://[API_BASE_URL]/v1API Key : 粘贴从服务商平台获取的 API Key。模型名称 : 自定义一个易于识别的名称，例如 Custom-Qwen2.5-72B。模型 ID : 填写服务商平台提供的具体模型标识符，例如 /maas/qwen/Qwen2.5-72B-Instruct。
安装后，进入'模型供应商'设置页面，点击'添加模型'。
在 Dify 的'工具' -> '插件市场'中，搜索并安装 OpenAI-API-compatible 插件。
配置完成后，这个强大的 Qwen2.5-72B 模型就可以在 Dify 的任何工作流中作为 LLM 节点被调用了。
在亮数据 MCP 节点之后，添加一个'LLM'节点。在模型选择下拉框中，我们就能看到刚刚配置好的模型。
接下来是核心的 Prompt 工程。我们在'PROMPT'输入框中设计一个指令，引导 LLM 扮演特定角色并完成指定任务。
你是一位专业的影音数据分析专家，专门负责处理通过亮数据 MCP 节点获取的影音数据。在我们的工作流中，亮数据 MCP 根据指定链接返回了相应的影音数据。现在你将对这些数据进行处理分析。请你对这些影音数据进行全面的分析，包括但不限于内容识别、情感分析、关键信息提取等。分析过程要详细、全面，考虑各种可能的因素。返回你的分析结果 data :
在 data: 之后，我们同样通过输入 / 来引用上游节点（亮数据 MCP）的输出。亮数据节点成功执行后，其提取的结构化数据（通常是 JSON 格式的文本）会作为名为 text 的变量输出。我们将这个 text 变量插入到提示词的末尾。
最后，添加一个'结束（End）'节点，用于输出整个工作流的最终结果。我们将 LLM 节点的输出（一个包含分析结果的字符串）连接到结束节点的输出变量上。
我们可以对 LLM 节点进行单独测试，确保其能够根据模拟数据成功返回分析内容。
第五章：执行与验证——从链接到洞察的瞬间 现在，整个自动化工作流已经构建完成。我们点击右上角的'运行'按钮，在 product_url 输入框中，提供一个真实的 TikTok 视频链接进行测试。
输入链接: https://www.tiktok.com/@adamshewmaker/video/7532966063072365879?is_from_webapp=1&sender_device=pc
'开始'节点将 URL 传递给亮数据 MCP 节点。
亮数据 MCP 节点调用其强大的数据采集网络，访问该 TikTok 链接，绕过所有访问限制，解析页面并提取出关键的结构化数据。执行日志显示，该节点成功返回了包含视频详情的 JSON 数据。
提取出的数据被注入到 LLM 节点的提示词中。
Qwen2.5-72B 模型接收到完整的指令和数据，开始扮演'影音数据分析专家'的角色，对数据进行深度分析。
最终，LLM 生成的分析报告被传递给'结束'节点，并作为最终结果展示出来。
结论 本次实践完整地展示了如何将亮数据 MCP 的网络数据抓取能力与 Dify 平台的可视化工作流编排能力、以及大语言模型的智能分析能力相结合，构建一个端到端的自动化视频数据处理管道。亮数据 MCP 在此流程中扮演了不可或缺的角色，它解决了数据获取阶段最困难、最繁琐的挑战，使得开发者和分析师能够将精力完全集中在数据应用和价值挖掘上。这种'专业工具 + 编排平台+AI 模型'的组合范式，不仅极大地降低了数据采集和分析的技术门槛，也为从海量视频内容中提取商业智能、进行市场研究和舆情监控提供了前所未有的效率和深度。
