Pathway 实时数据框架
Pathway 是一个用于流处理、实时分析、LLM 管道和 RAG 的 Python ETL 框架。它拥有易于使用的 Python API,能无缝集成各类 Python ML 库,代码可在开发和生产环境中使用,有效处理批量和流式数据。
项目信息
- 项目地址:https://github.com/pathwaycom/pathway
- 主要语言:Python
Pathway 是一个基于 Rust 引擎的 Python 流处理 ETL 框架,支持实时数据分析和 LLM 管道构建,具备高性能和易用性。OpenBB 是开源金融数据分析平台,提供多源数据整合能力,支持量化分析、AI 应用开发及 REST API 访问。两者均通过 Python 生态简化数据处理流程,适用于数据工程师和 AI 开发者。
Pathway 是一个用于流处理、实时分析、LLM 管道和 RAG 的 Python ETL 框架。它拥有易于使用的 Python API,能无缝集成各类 Python ML 库,代码可在开发和生产环境中使用,有效处理批量和流式数据。
项目信息

使用 pip install -U pathway 进行安装,要求 Python 3.10 或更高版本,支持 MacOS 和 Linux,其他系统需在虚拟机上运行。
示例代码如下:
import pathway as pw
# Define the schema of your data (Optional)
class InputSchema(pw.Schema):
value: int
# Connect to your data using connectors
input_table = pw.io.csv.read("./input/", schema=InputSchema)
# Define your operations on the data
filtered_table = input_table.filter(input_table.value >= 0)
result_table = filtered_table.reduce(sum_value=pw.reducers.sum(filtered_table.value))
# Load your results to external systems
pw.io.jsonlines.write(result_table, "output.jsonl")
# Run the computation
pw.run()
pathway 库,创建处理管道,使用 pw.run() 启动计算,可像普通 Python 脚本一样运行,也可使用 pathway spawn 命令,支持多线程。完整文档可在 https://pathway.com/developers/user-guide/introduction/welcome 查看,包括 API 文档。如有问题,可在 GitHub 仓库上开 issue。
与 Databento、LangChain、LlamaIndex、MinIO、PaddleOCR、Redpanda 等项目合作,共同推动数据工程的发展。
OpenBB 是一个提供金融数据分析与集成的平台。它是一个开源的金融数据工具,帮助分析师、量化交易员和 AI 代理获取、处理和分析金融市场数据。
项目信息

Open Data Platform by OpenBB (ODP) 是一个开源工具集,主要帮助数据工程师将专有、授权和公共数据源集成到下游应用程序,如 AI 助手和研究仪表盘。它作为'一次连接,随处使用'的基础设施层,能将数据整合并同时暴露到多个平台,包括供量化分析师使用的 Python 环境、供分析人员使用的 OpenBB Workspace 和 Excel、供 AI 代理使用的 MCP 服务器,以及供其他应用程序使用的 REST API。
从功能描述来看,它采用模块化设计,不同数据来源和下游应用对应不同模块,保证了扩展性和兼容性。同时,它与 OpenBB Workspace 无缝集成,体现出良好的分层架构。
pip install openbb 从 PyPI 包安装,也可通过 git clone https://github.com/OpenBB-finance/OpenBB.git 直接克隆仓库。更多安装过程可参考 OpenBB 文档。pip install openbb-cli 安装,也可通过克隆仓库安装,更多安装过程可参考 OpenBB 文档。
微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online