github copilot接入第三方openai-compatible模型的方法

优质文章学习记录

— 7 min read
github copilot接入第三方openai-compatible模型的方法
审核有点严，我修改了很多敏感词汇，看原文可以去我个人博客：https://kashima19960.github.io/2025/07/28/github%20copilot%E6%8E%A5%E5%85%A5openai-compatible%E6%A8%A1%E5%9E%8B%E4%BB%A5%E5%8F%8A%E5%8E%BB%E9%99%A4%E5%AE%89%E5%85%A8%E9%99%90%E5%88%B6%E7%9A%84%E6%96%B9%E6%B3%95/

重要说明

本文具有时效性，请注意检查信息的正确性！

2025-10-12更新

现在官方明确copilot接入第三方openai-compatible模型是不会上线正式版，并且关闭了相关issue，想要体验这个功能只能使用vscode insider(一个前瞻的测试版)，所以现在想要使用这个功能就只有两个选择

  1. 按照这篇文章的教程自行打包带有接入第三方模型功能的 copilot 的扩展
  2. 使用一个叫做 OAI Compatible Provider for Copilot的扩展，具体可以看这位博主的文章 ：https://blog.ZEEKLOG.net/johnny0316/article/details/152900115?fromshare=blogdetail&sharetype=blogdetail&sharerId=152900115&sharerefer=PC&sharesource=Johnny0316&sharefrom=from_link

前言

copilot只支持那几家国外的模型提供商，除了openrouter以外我们都很难进行访问和支付，以及copilot系统提示词会拒绝回答非编程的问题，这点也让我很苦恼
所以为了完成我的这两个需求

  1. github copilot chat能接入自定义的openai-compatible模型
  2. 修改提示词

我去查找了相关的开源社区寻找解决方法，由于copilot chat前些日子开源了，所以这个第一个功能有开发者做了，但是微软还没有发布release版本，所以我们需要手动打包扩展，第二个功能可以通过修改系统提示词来实现。

具体步骤

  1. 先把仓库克隆下来，这里要注意，这个开发者把功能commit到了feat-ui分支，不要下载到了main分支
git clone -b feat-ui https://github.com/relic-yuexi/vscode-copilot-chat.git
  1. 删除相关的提示词(可选)
    找到这个文件 src\extension\prompts\node\base\safetyRules.tsx，这个文件是安全规则提示词的底层文件，会被所有代码引用，所以我们只修改这个文件就行,
    如下图可以看到，这下我们知道为什么问非编程问题，会一直回答"Sorry, I can’t assist with that."了，把这个字符串替换成任意的词即可
在这里插入图片描述

然后再找到这个文件 src\extension\prompts\node\base\copilotIdentity.tsx ，这个提示词强制了无论你询问任何模型是谁，都会回答你 "github copilot ",我不喜欢这个，所以把他替换成空格或者其他的提示词

在这里插入图片描述
  1. 开始构建扩展，并打包成vsix文件

首先确保你已经安装了Node.js和npm，没安装就自己搜索安装一下，不需要啥专业知识的，然后在项目根目录下打开终端，执行以下命令：

安装依赖

2025-7-31更新:这里要有下载isual studio的C++环境，不然安装过程中的编译sqlite3会失败导致安装失败
npminstall

等待完成后，执行：

npx tsx .esbuild.ts

安装打包工具vsce，这个工具用来将项目打包成VSIX格式

npminstall -g vsce

最后执行：

vsce package

就这四个命令

  1. npm install - 安装依赖
  2. npx tsx .esbuild.ts - 构建项目
  3. npm install -g vsce - 安装打包工具
  4. vsce package - 生成VSIX文件

执行完成后，你会在项目根目录看到一个 .vsix 文件，这就是可以安装的VS Code扩展包。

安装扩展：

  • 在VS Code中按 Ctrl+Shift+P
  • 输入 “Extensions: Install from VSIX”
  • 选择生成的 .vsix 文件

另一种方法就是打开vscode的插件市场，点击右上角的三个点，最后一个选项就是了

在这里插入图片描述
2025-7-30更新：评论区有人问怎么添加模型，之前没写，我以为大家都会，下面补充一下

添加openai-compatible模型的方法

  1. 先打开模型选择器，点击manage models
在这里插入图片描述
  1. 点击红框那一栏，这一栏在你成功按照上述方法构建了扩展后就会有了，官方的copilot目前还没有，你找不到就要检查一下自己有没有安装好扩展了
在这里插入图片描述
  1. 理论上，只要是能兼容 openai 格式的模型供应商都能添加，这个具体你要看对应的模型供应商，国内基本上知名的模型都是兼容openai格式的，这里我以deepseek为例，由于我这里已经添加过了(看上图就知道了)，这里是取名(名字任意)，然后回车
在这里插入图片描述

输入base_url，这里找对应的文档自己查，回车

在这里插入图片描述

右下角会提示成功，

在这里插入图片描述

再次打开模型选择器就能看到了

在这里插入图片描述

点进去，输入apikey，这里你要输入正确的apikey，不然获取model会失败，我这里由于已经添加过deepseek的模型了，所以图片中的 apikey 是我乱填的😋

在这里插入图片描述

把模型id输入一下，具体id看对应的官方文档

在这里插入图片描述

测试是否添加成功由于上述的步骤去除了安全规则和自我介绍，所以可以直接向模型问一些非编程问题，可以看到下图，如果问原版的copilot，他是不会回答你跟模型有关的任何信息的，只会回答“ 我是github copilot”

在这里插入图片描述

已经打包好的扩展

如果你连上述的步骤都没办法完成的话，那就用我打包好的扩展吧

https://gitee.com/oops-holly/vscode-github-copilot-extension/releases/download/1.0.0/copilot-chat-0.30.0.vsix

Read more

DeepSeek-R1-Distill-Llama-8B参数详解：LoRA微调适配、上下文长度扩展与KV Cache优化

DeepSeek-R1-Distill-Llama-8B参数详解：LoRA微调适配、上下文长度扩展与KV Cache优化 1. 模型定位与核心价值 DeepSeek-R1-Distill-Llama-8B不是一款普通的小尺寸语言模型，而是一次精准的“能力浓缩”实践——它把DeepSeek-R1在数学推理、代码生成和复杂逻辑任务上的扎实表现，通过知识蒸馏技术，高效迁移到Llama架构的8B参数量级上。对开发者而言，这意味着：不用牺牲太多性能，就能获得轻量、可部署、易定制的推理能力。 很多人会疑惑：为什么选Llama架构做蒸馏？答案很实际：Llama生态成熟、工具链完善、社区支持丰富。相比Qwen蒸馏系列（如32B版本），Llama-8B版本在体积和速度上更具优势；相比原生Llama-3-8B，它又继承了DeepSeek-R1经过强化学习锤炼出的推理结构偏好——比如更长的思维链展开、更稳定的多步推导、更少的无意义重复。这不是简单地“换壳”，而是把高阶推理能力“编译”进一个更友好的运行时环境里。 你不需要从零训练一个大模型，也不必为部署o1-mini级别的模型准备A100集群。De

Llama-3.2-3B + Ollama部署本地大模型：保姆级实战教程

Llama-3.2-3B + Ollama部署本地大模型：保姆级实战教程 1. 为什么选Llama-3.2-3B？轻量、多语言、开箱即用 你是不是也遇到过这些问题：想在自己电脑上跑一个真正能用的大模型，但发现动辄十几GB的模型文件根本加载不动；或者好不容易跑起来，响应慢得像在等泡面；又或者只支持英文，中文对话生硬得像机器翻译初稿。 Llama-3.2-3B就是为解决这些痛点而生的。它不是那种动不动就几十亿参数、需要顶级显卡才能喘口气的“巨无霸”，而是一个精巧实用的30亿参数模型——小到能在普通笔记本（甚至MacBook M1/M2）上流畅运行，大到足以胜任日常办公、学习辅助、内容创作等真实任务。 它由Meta发布，但和早期Llama系列不同，3.2版本特别强化了多语言能力，中文理解明显更自然，回答更贴近真人表达习惯。比如你问“帮我写一封给客户的道歉邮件，语气诚恳但不过分卑微”，它不会给你套话连篇的模板，而是生成一段有温度、有细节、带具体补救措施的真实文本。 更重要的是，它已经过指令微调（SFT）和人类反馈强化学习（RLHF）优化，

C++ AIGC模型加载技术内幕（仅限内部交流的架构设计曝光）

第一章：C++ AIGC模型加载技术概述 在现代人工智能生成内容（AIGC）系统中，C++因其高性能和底层控制能力，成为部署深度学习模型的核心语言之一。将训练好的AIGC模型（如文本生成、图像生成模型）高效加载至C++运行环境，是实现低延迟推理的关键步骤。该过程不仅涉及模型格式的转换与解析，还需兼顾内存管理、计算图优化及硬件加速支持。 模型加载的核心流程 * 将Python训练框架（如PyTorch、TensorFlow）导出为中间格式（如ONNX、TorchScript） * 使用C++推理引擎（如LibTorch、TensorRT）加载序列化模型文件 * 初始化输入输出张量并绑定至计算图 * 执行前向推理并解析生成结果 典型代码示例：使用LibTorch加载TorchScript模型 #include <torch/script.h> #include <iostream> int main() { // 加载序列化的TorchScript模型 torch::jit::script:

解决下载慢问题：国内可用的Stable Diffusion和LLaMA模型镜像站清单

国内可用的Stable Diffusion和LLaMA模型镜像站清单：高效解决下载慢问题 在AI生成内容（AIGC）迅速普及的今天，越来越多开发者、设计师和研究人员开始尝试本地部署Stable Diffusion或微调LLaMA这类大模型。但一个现实问题始终困扰着国内用户——模型下载太慢了。 你有没有经历过这样的场景？打开Hugging Face准备下载一个7GB的SDXL基础模型，进度条爬得比蜗牛还慢，半小时才下完一半，结果网络一断，前功尽弃。更别提训练LoRA时需要频繁拉取不同版本的基础权重，这种体验简直让人崩溃。 这背后的原因并不复杂：主流模型大多托管在境外平台（如Hugging Face、Replicate），而原始文件动辄数GB甚至数十GB，加上跨境链路不稳定、DNS污染、限速等问题，直接导致国内直连下载效率极低，严重拖慢了从环境搭建到实际训练的整体节奏。 好在社区早已意识到这个问题，并催生出一批高质量的国内模型镜像站点。它们通过在国内服务器缓存常用模型文件，提供HTTPS加速链接，极大提升了获取效率。配合LoRA这类轻量化微调技术，如今我们完全可以在消费级显卡上完成