博客作者
前端工程师
367
已发布文章
12K
博客获赞
1.1M
博客浏览
第 17 页
SeaTunnel 支持多种数据源连接器，涵盖 MySQL、Hive、Kafka 等。演示了三种典型同步场景：基于 JDBC 的全量批量同步、结合 Hive Metastore 的数据仓库写入、以及基于时间戳的增量抽取和 MySQL CDC 实时流处理。重点解析了配置文件中的关键参数，如连接信息、查询语句、作业模式及依赖包管理，帮助开发者快速搭建稳定可靠的数…
摩斯密码加密与解密可通过 Python 字典数据结构高效实现。程序建立英文字符与摩斯码的映射关系，利用循环遍历字符串完成编码，并通过空格逻辑还原密文。示例代码包含加密解密函数及主函数测试，展示了从明文到密文再转回明文的完整流程。
本次收录七篇大模型领域前沿论文，涵盖图像生成、语音理解、多模态建模及视觉感知等方向。SnapGen 提出极小快速高分辨率文生图模型；Lyra 打造高效全认知多模态大语言模型；EasyRef 实现扩散模型即插即用适配；微软 LatentLM 整合离散与连续数据；Euclid 增强多模态 LLM 的几何感知能力；上海 AI Lab 推出支持长期流媒体交互的系统；…
详细阐述了数据分析在电信行业的五大核心应用场景：网络管理与优化、市场与精准营销、客户关系管理、企业运营管理及数据商业化。文章介绍了如何利用大数据技术进行基站选址、流量监控、客户画像构建、社交关系挖掘、流失预警及自动化报表生成。同时探讨了数据变现的商业价值，如精准广告投放与客流分析。最后分析了当前面临的数据安全、隐私保护及技术架构挑战，并展望了AI与电信网络深…
系统梳理了 Python 编程语言的基础语法体系，涵盖变量定义、字符串处理、运算符、条件判断、循环结构、列表字典等数据结构、函数定义及文件操作。通过具体代码示例解析了 input、print、切片、方法调用、参数传递等关键概念，旨在帮助初学者快速掌握 Python 编程核心逻辑与规范用法。
Python 环境搭建涉及下载、安装、环境变量配置及多版本管理。详细介绍从官网获取安装包、选择系统架构、配置 PATH 变量、管理 pip 工具以及实现多版本共存的方法。此外还推荐了主流开发工具如 VS Code 和 PyCharm，并补充了虚拟环境配置与常见错误排查指南，帮助开发者快速构建稳定的 Python 运行环境。
探讨了 Python 开发中应逐步淘汰的旧库及其标准库替代方案。包括使用 pathlib 替代 os.path 进行路径操作，secrets 替代 os.urandom 生成安全令牌，zoneinfo 替代 pytz 处理时区，dataclasses 替代 namedtuple 定义数据结构，以及使用 logging 模块替代 print 语句进行日志记录。…
探讨了大模型 LLM 在数据领域的四大核心应用：利用 Embedding 技术优化语义检索，解决传统关键词匹配不足的问题；搭建基于 RAG 的领域知识库，实现安全可控的私域问答；通过 Text2SQL 将自然语言转为 SQL 代码并可视化，降低数据查询门槛；以及利用大模型辅助探索性数据分析 EDA，自动化处理缺失值、异常值及生成分析报告。文章详细阐述了各场景…
总结了开源大型语言模型 LLM 的技术发展趋势及主流模型。内容包括模型规模增长、领域专精化、语义理解能力提升、训练效率优化及偏见应对等方向。详细介绍了 Falcon-40B、Vicuna、Alpaca、LLaMA、GPT-J 和 Dolly 等代表性开源模型的特性、训练方法及性能对比。此外，文章补充了高效微调技术（LoRA/QLoRA）、推理加速引擎（vLL…
深入探讨了 PyTorch 框架中的自动微分机制及其核心数学概念——雅可比向量积（JVP）。文章首先介绍了自动微分的基本原理及 PyTorch autograd 模块的工作方式，随后详细解释了雅可比矩阵的定义及其在高维计算中的局限性。重点阐述了雅可比向量积（JVP）与向量雅可比积（VJP）的区别，并通过 Python 代码示例演示了如何使用 torch.au…
本书面向普通开发者，系统介绍大模型应用开发知识体系。涵盖 GPT-4 与 ChatGPT 工作原理、API 集成方法、应用构建安全策略及提示工程与微调技巧。通过解析 Transformer 架构演进、OpenAI API 使用规范、LangChain 框架应用等内容，帮助读者建立从理论到实践的认知，适合入门 LLM 应用开发。
以 Hugging Face 的 rotten_tomatoes 数据集和 gpt2 模型为例，演示了从零开始进行大模型微调的完整流程。内容涵盖环境搭建、数据加载与预处理、Tokenizer 配置、训练超参数设置、Trainer 定义及训练执行。此外，补充了模型保存后的推理方法及常见问题优化建议，帮助开发者掌握微调核心步骤，实现特定场景下的模型性能优化。
AI 产品经理是负责人工智能产品开发、推广及优化的关键角色。随着 AIGC 技术爆发，该岗位需求激增，存在人才缺口。与传统产品经理相比，AI 产品经理需具备更强的技术理解力，涵盖机器学习、计算机视觉或自然语言处理等方向。转行准备包括掌握基础 AI 概念、熟悉产品全流程、积累项目经验并保持持续学习。核心能力涉及大模型系统设计、提示词工程、平台应用开发及微调训练…
大模型应用开发涉及对 GPT 等语言模型的理解、API 集成及框架应用。涵盖 LLM 基本原理、文本生成与问答系统构建、提示工程与模型微调技术，以及 LangChain 框架的使用。内容还包括应用程序架构设计原则、安全漏洞防范及学习路径规划，旨在帮助开发者掌握从基础概念到垂直领域模型训练的全栈技能，实现大模型在电商、物流等行业的有效落地。
大规模语言模型（LLM）分布式训练面临可扩展性、效率和可靠性三大挑战。综述了 LLM 训练系统的最新进展，涵盖 AI 加速器、网络、存储及调度基础设施。重点分析了混合并行、自动并行及异构并行策略，探讨了计算优化（如算子优化、混合精度训练）、内存优化（如激活重计算、ZeRO、卸载）及通信优化（如集体通信算法、调度、网络内聚合）。此外，文章还讨论了容错机制，包括…
DeepSeek R1-Zero 采用纯强化学习而非监督微调，打破了人类数据瓶颈。文章分析了 R1-Zero 与 R1 在 ARC-AGI-1 及 MATH 基准上的表现差异，指出在可验证领域人类标注非必需。探讨了 AI 可靠性与计算成本的关系，以及「推理即训练」的数据经济新模式。R1-Zero 展示了无人类瓶颈的 Scaling 机制原型，推动 AI 向自…
针对 DeepSeek 官方服务频繁拥堵的问题，提供一套基于 Ollama、Milvus 向量数据库及 VSCode Roo Code 插件的本地化部署方案。通过调整模型上下文参数并结合向量检索技术，实现数据隐私保护与低成本高频访问。教程涵盖环境准备、组件安装、配置优化及实战测试，帮助开发者构建稳定高效的私有化 AI 应用环境。
详细解析了大模型领域的四个核心职业方向：数据工程师、平台工程师、算法工程师及部署工程师，并阐述了各方向的技术栈与核心职责。文章指出新人常误以为算法岗最核心，实则工程与数据能力更为关键。内容涵盖数据质量的重要性、分布式训练策略、推理加速技术及端侧部署实践。最后给出入行建议，强调夯实基础、聚焦垂直场景、重视数据思维及持续学习，帮助新手避开误区，快速适应行业需求。
回顾了 2023 至 2024 年 RAG 技术的发展历程，从萌芽期到狂热顶点再到落地困境，分析了当前处于技术成熟度曲线的低谷期。展望 2025 年，RAG 将回归理性，强调明确业务需求与指标。文章详细解析了七种主流 RAG 技术架构，包括朴素 RAG、检索重排序、多模态 RAG、图 RAG、混合 RAG、代理 RAG 及多智能体 RAG，探讨了各自的技术特…
介绍如何使用 LangChain 框架结合 DeepSeek 大模型构建检索增强生成（RAG）系统。内容涵盖模型调用、提示词模板设计、文档加载与分割、文本嵌入与向量存储、重排序（ReRank）优化、链式编排（LCEL）及输出解析。通过阿里云百炼嵌入模型和 FAISS 向量库实现本地知识库索引，利用 BAAI/bge-reranker-large 提升检索精度…
