
基于通义千问 LLM 实现本地简单多轮对话
在本地环境部署通义千问 Qwen1.5-0.5B-Chat 模型并实现多轮对话,需准备 Python 及 PyTorch 环境,通过 ModelScope 加载模型与分词器。利用 apply_chat_template 构建对话历史,设置系统提示语,调用 generate 生成回复并解码输出。完整脚本支持循环交互,可维护上下文记忆。针对显存不足、生成速度及上…
博客作者
赛博朋克开发者
380
已发布文章
11K
博客获赞
789K
博客浏览
第 18 页

在本地环境部署通义千问 Qwen1.5-0.5B-Chat 模型并实现多轮对话,需准备 Python 及 PyTorch 环境,通过 ModelScope 加载模型与分词器。利用 apply_chat_template 构建对话历史,设置系统提示语,调用 generate 生成回复并解码输出。完整脚本支持循环交互,可维护上下文记忆。针对显存不足、生成速度及上…

MetaLlama 系列大模型涵盖 7B 至 70B 参数规模,包含基础版与对话优化版。详细介绍 LLaMA 及 Code Llama 模型特性,提供基于 Hugging Face 的获取方式。重点讲解多种本地部署方案,包括 llama.cpp 量化运行、Ollama 服务化以及通过 LangChain 集成调用。内容涵盖代码示例、环境配置及常见错误处理,适…

大模型技术正从概念炒作转向实际价值落地,产业应用成为新阶段关键词。通过分析三星手机、蔚来汽车、长安汽车、南方电网及生数科技等案例,探讨了大模型在终端设备、智能座舱、自动驾驶、电力调度及视频生成等领域的实践路径。文章重点阐述了云计算平台作为基础设施(如百舸平台、千帆平台)在提供算力调度、模型开发工具链及应用开发支持方面的关键作用,强调了从单点突破向系统性智能化…

文章探讨了大模型行业从单纯比拼性能转向赋能千行百业的趋势。重点介绍了科大讯飞星火大模型 4.0 Turbo 的性能突破,以及在超拟人数字人、万物智能交互标准方面的创新。内容涵盖了大模型在汽车、教育、医疗、政务等垂直领域的深度落地案例,如 6000 万辆汽车的智能语音装配、医疗影像助手及政务一体机。同时分析了安徽地区构建'大模型 + 大算力 + 大数据 + 大…

大模型技术在金融领域的应用正深刻改变行业运作模式,通过训练海量领域数据提升决策效率与创新能力。文章详细阐述了智能投顾、自动化投资策略、风险预测与资产配置等核心应用场景,并结合 Wealthfront、高盛等实际案例进行分析。此外,还探讨了合规监控、客户服务等延伸应用,最后总结了数据隐私、黑箱效应及监管挑战等未来发展方向。

一款名为 FreeAskInternet 的开源 AI 搜索聚合器。该项目基于 Python FastAPI 开发,支持本地私有化部署,无需 GPU 即可运行。核心功能包括多搜索引擎结果聚合、大模型智能总结及多种模型 API 支持(如 Kimi、ChatGPT 等)。文章详细阐述了其技术架构、Docker 部署步骤、Token 配置方法以及常见网络问题的排查…

如何使用 XML-Agent 构建智能决策系统。内容涵盖环境配置、LangChain CLI 安装、服务器端与客户端代码实现、工具集成(如 DuckDuckGo 搜索)、常见问题排查及安全最佳实践。文章提供了完整的技术流程,帮助开发者快速上手基于大模型的代理应用开发,并强调了密钥管理和输入验证的重要性。

GraphRAG 通过引入知识图谱增强 RAG 系统,解决了传统 RAG 在处理多跳推理和复杂信息整合时的不足。文章详细阐述了 GraphRAG 的索引与查询机制,包括文本分割、实体关系提取、层次聚类等步骤,并对比了其与基础 RAG 在输出质量上的差异。此外,文章提供了基于 Milvus 向量数据库搭建 GraphRAG 应用的完整代码示例,涵盖环境配置、索…

本书由浙江大学毛玉仁和高云君撰写,涵盖传统语言模型、大模型架构演化、Prompt 工程、参数高效微调、模型编辑和检索增强生成六大核心主题。内容每月更新,包含最新论文列表。配套学习路径包含系统设计、提示词工程、平台应用开发、知识库构建、微调开发、多模态模型及行业应用七个阶段,适合希望系统掌握大模型技术的开发者。

提示工程是创建能产生期望结果的提示的过程,涉及一系列技术应用。少样本提示、思维链、生成知识、从最少到最多、自我完善及多维度提示等核心技巧,并通过 Python 代码示例演示了如何优化大语言模型输出。此外,文章还讲解了温度参数对输出确定性的影响以及指定上下文、限制输出、使用模板等最佳实践,旨在帮助开发者提升 AI 交互的稳定性和准确性。

如何使用 Streamlit 和腾讯云混元 API 快速搭建 LLM 聊天应用。内容涵盖环境配置、依赖安装、凭证安全管理、Streamlit 状态管理机制以及流式响应的实现。提供了完整的可运行代码示例,并详细说明了运行方式、部署方案及常见问题排查技巧。通过本教程,开发者可以零门槛构建具备打字机效果的智能对话界面,并了解相关的安全与优化最佳实践。

LocalAI 是一个高性能的本地 AI 运行时环境,旨在让 AI 模型的部署和使用更加简单。它完全运行在本地,提供数据隐私保护、零成本使用和离线运行能力,并完全兼容 OpenAI API 接口。文章详细介绍了 LocalAI 的核心特性、硬件要求、Docker 部署步骤、模型加载方法以及 Python 客户端集成示例。通过量化技术和多模型支持,LocalA…

Python 网络爬虫主要包含数据抓取、分析与存储三个核心环节。介绍使用 requests 库进行 HTTP 请求,处理 GET/POST 参数及登录验证。涵盖反爬虫应对策略,如代理 IP、请求头伪装及频率控制。讲解使用 BeautifulSoup 解析 HTML 和 JSON 数据,以及通过数据库或文件持久化存储结果。最后简述并发处理机制及爬虫开发的法律伦…

Python 数据处理库 pandas 的核心用法。内容涵盖环境安装与导入、多源数据(CSV/Excel/SQL)的读写、数据概览与筛选方法、常见数据清洗技巧(去空/缺失值/重复值)、分组聚合操作以及数据合并与透视表技术。通过具体代码示例展示了如何利用 pandas 高效完成数据预处理与分析任务,适合初学者快速掌握数据处理流程。

探讨了利用大语言模型(LLM)增强推荐系统的理论与实践。首先介绍了协同过滤、基于内容过滤等传统推荐技术及其局限性,如冷启动和数据稀疏问题。随后分析了 LLM 如何通过预训练、微调和提示工程改变推荐范式。接着详细演示了使用 LangChain、LanceDB 向量数据库和 OpenAI API 构建电影推荐系统的全过程,包括数据预处理、嵌入生成、检索增强生成(…

Python 开发中常见的 18 个坏习惯包括字符串拼接、异常处理不当、可变默认参数、滥用推导式、类型检查错误等。通过采用 f-string、上下文管理器、isinstance 判断、enumerate 迭代及 logging 模块等最佳实践,可显著提升代码质量、可读性与安全性。遵循这些规范有助于编写更符合 Pythonic 风格的代码,避免潜在的性能瓶颈与…

AI 大模型技术涵盖预训练、微调及中间件开发。解析了 Transformer 架构原理,包括自注意力机制与位置编码。阐述了生成式预训练流程及 GPT 系列演进。深入探讨了有监督微调(SFT)与人类反馈强化学习(RLHF),特别是 PPO 算法的应用。介绍了低算力场景下的模型迁移策略,如 LoRA 与量化剪枝。最后分析了 LangChain 等中间件框架在构建…

如何利用 Python、Sherpa-onnx 和 Agently 框架在 Windows 系统上构建本地智能语音助手。通过集成语音识别(ASR)与大语言模型(LLM),实现了从语音输入到文本回复的完整交互流程。文章详细讲解了环境配置、核心代码实现及调试方法,为后续扩展多模态交互功能奠定基础。

详细阐述了 AI 产品经理的入门路径与核心技能要求。内容涵盖 AI 产品经理与传统角色的区别,包括数据、算法及算力的基础认知。文章分析了 AI 时代产品需求的新特点,探讨了敏捷开发在 AI 项目中的应用,并介绍了金融、医疗、零售等行业的落地案例。此外,还强调了 AI 思维矩阵与产品美学的重要性,旨在帮助读者建立系统的知识框架,避开转型误区,提升产品设计与落地…

MetaGPT 是一个模拟软件公司团队角色的多智能体框架,支持从需求输入到代码输出的全流程自动化。其核心架构中的产品经理、架构师、工程师等角色分工,提供了基于 Python 的安装配置步骤,解释了 LLM API 的 YAML 配置方法,并演示了基础命令的使用流程。此外,文章还涵盖了常见环境兼容性问题、网络错误排查及模型选择建议,帮助用户高效利用该框架进行…