ezdata 是一个基于 Vue3 前端、Python 后端及 LLM 大模型的数据处理分析和任务调度系统。它支持多数据源管理、低代码任务模版、DAG 调度及 RAG 知识库问答。通过代码生成技术实现自然语言转 SQL 查询，结合向量数据库增强检索准确性。系统采用 Flask 框架配合 Celery 进行分布式任务执行，旨在解决多工具切换难、脚本管理乱等问题，并提供自动化 ETL 管道搭建能力。后续计划优化 AI 对话应用、服务化封装及自动化 ETL 功能。
ezdata 是一个基于 Vue3 前端、Python 后端及 LLM（大语言模型）开发的数据处理分析和任务调度系统。该系统旨在解决多数据源查询工具切换频繁、脚本部署杂乱以及定时任务管理困难等痛点。核心功能包括数据源管理、数据模型管理、数据集成、数据查询 API 接口、低代码自定义数据处理任务模版，以及单任务及 DAG（有向无环图）任务工作流调度。
系统集成了 LLM 模块实现 RAG（检索增强生成）知识库问答，能够链接各数据源数据进行数据对话问答，提供交互式数据分析功能。通过自然语言转 SQL 或 Python 代码的技术路径，降低数据分析门槛，提升数据利用效率。
在实际业务场景中，经常需要进行数据抓取并存储到不同的数据源中，包括文件、关系型数据库、NoSQL 数据库、时序数据库、图数据库等，同时伴随大量的数据查询和分析工作。经过实践调研，发现以下主要问题：
基于上述问题，决定自行设计一套系统，方便进行数据的简单查询处理和脚本任务的动态配置、定时调度运行和状态监控。
考虑到个人开发精力有限，遵循以下原则进行技术选型：
创建一个统一的数据模型概念，将各数据源类型抽象为统一数据模型。支持的数据源类型包括：文件、API、数据库表、数据库查询 SQL、Binlog 数据流、Kafka 数据流、NoSQL 文档记录等。
在统一数据模型上支持创建、删除、字段管理、查询取数、封装数据查询 API 接口等各种功能。不同数据模型具有不同的功能类型，并使用前端低代码系统快速拓展实现数据源的管理和创建新的数据模型类型和相关拓展功能。
查询数据时，根据系统配置的相关连接参数，实例化对应的数据模型 Reader 对象。Reader 对象负责从源头获取原始数据，并根据前端配置的过滤条件、原生查询等表单参数对数据源进行查询和数据组装返回，实现数据对象的即时查询。
针对数据读取对象，通过内部配置的固定数据处理逻辑或编写自定义代码，即可将查询的原始数据转换为目标数据源所需的数据结构。随后实例化目标数据模型 Writer 对象，实现 ETL（抽取、转换、加载）数据集成管道功能。这种设计使得数据流转过程标准化，便于维护和扩展。
随着 ChatGPT 等大模型应用的火爆，开始思考如何与现有数据查询模块结合实现自然语言到数据结果的转化。在调研了较多相关项目（ChatDB、NL2SQL、ChatBI 相关开源项目）并结合现有数据查询模块后，决定实现一套基于代码生成的 AI 数据分析工具。
经过开发，基本实现了针对各种数据源的自然语言查询数据和对话问答功能。使用了 RAG 技术将正确的回答进行了手动标记生成问答对知识段加入知识库，下次问到类似问题时，能更好更精准的实现对应的数据分析需求。
并开发了 LLM 对话的 RAG 知识库问答、Agent 工具调用等 AI 对话场景，将数据对话封装成为了其中的数据分析工具，拓展了对话系统的应用丰富度。后续将着重开发以下模块：
为了保证系统的稳定性和安全性，建议在部署时注意以下几点：
ezdata 项目通过整合传统数据处理技术与前沿的大模型能力，提供了一个轻量级、易扩展的数据分析与任务调度解决方案。它解决了多工具切换和脚本管理混乱的问题，并通过 RAG 和代码生成技术降低了数据分析的门槛。未来随着功能的完善，有望成为企业级数据智能化转型的有力工具。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
