昇腾设备部署llama.cpp

优质文章学习记录

— 1 min read

硬件环境：

Atlas 800I A2

CPU：KunPeng920 * 192

NPU：Atlas 910B4-1 * 8

内存：1000G

软件环境

操作系统：OpenEuler22.03 LTS

内核：5.10.0-186.0.0.2.1.oe2203sp3.galaxy.aarch64

驱动：24.1.rc2

docker：26.1.3

为了不影响物理环境，安装是在docker容器环境中进行，

由于目前llama.cpp只支持openeuler22.03和ubuntu 22.04，可以下载一个对应操作系统的镜像

此处以vllm-ascend:0.9.1rc1-torch_npu2.5.1-cann8.1.rc1-python3.10-oe2203lts-linuxarm64镜像为例

拉取镜像：

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/openeuler/vllm-ascend:0.9.1rc1-torch_npu2.5.1-cann8.1.rc1-python3.10-oe2203lts-linuxarm64

支持Atlas 300I Duo Atlas 300T A2（Ascend 910B4）

起容器：

docker run -it -d --net=host --shm-size=500g \ --privileged \ --name vllm-ascend \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/

Read more

Stable Diffusion一键部署神器：Docker容器化解决方案完全指南

Stable Diffusion一键部署神器：Docker容器化解决方案完全指南 【免费下载链接】stable-diffusion-webui-dockerEasy Docker setup for Stable Diffusion with user-friendly UI 项目地址: https://gitcode.com/gh_mirrors/st/stable-diffusion-webui-docker 还在为Stable Diffusion复杂的环境配置而头疼吗？stable-diffusion-webui-docker项目为你提供了完美的解决方案，通过Docker容器化技术实现零配置快速部署。本文将带你深入了解这一革命性工具的运作原理、使用方法以及高级定制技巧。 为什么选择Docker化部署？ 传统Stable Diffusion安装流程需要面对诸多挑战： 安装方式主要问题解决方案手动安装依赖项冲突、环境配置复杂Docker隔离环境，避免依赖冲突脚本安装系统兼容性差、权限问题标准化容器，跨平台通用虚拟机部署资源消耗大、性能损失明显轻量级容器，接近原生性能

intv_ai_mk11部署教程：24GB GPU单卡跑通Llama中型模型的完整环境验证

intv_ai_mk11部署教程：24GB GPU单卡跑通Llama中型模型的完整环境验证 1. 平台介绍与特点 intv_ai_mk11是一个基于Llama架构的中等规模文本生成模型，特别适合处理通用问答、文本改写、解释说明和简短创作等任务。这个镜像已经完成了本地部署的所有配置工作，用户只需打开网页就能直接使用，无需关心复杂的安装和配置过程。 这个镜像的核心优势在于： * 开箱即用的Web界面，无需编写代码即可体验模型能力 * 基于transformers库本地加载模型权重，确保数据隐私 * 仅需单张24GB显存的GPU即可流畅运行 * 使用独立的Python虚拟环境，与系统环境完全隔离 * 内置健康检查接口，方便运维监控 2. 快速开始指南 2.1 访问方式 打开浏览器，访问以下地址： https://gpu-3sbnmfumnj-7860.web.gpu.ZEEKLOG.net/ 2.2 首次测试建议 为了快速验证服务是否正常运行，建议按照以下步骤进行测试： 1. 打开上述网址进入首页 2. 在输入框中填写："请用中文一句话介绍你自己。
VS Code 里的 Copilot Chat 为啥一拷贝就只剩纯文本

VS Code 里的 Copilot Chat 为啥一拷贝就只剩纯文本

你遇到的现象是：在 Visual Studio Code 里和 Copilot Chat 对话，复制出去只能得到纯文本，没有 Markdown 的代码块、列表、标题等结构。这个问题表面像是 复制 操作不保留格式，往里看却牵涉到 VS Code 的 Webview 剪贴板实现、Copy 菜单与快捷键的差异、目标应用如何接收内容、以及 Copilot 提供的导出能力与其缺口。下面用一条顺畅的推理链，把原因与对策掰开揉碎。 现象并不单一：右键 Copy 与 Ctrl+C 背后的差别 在 Copilot Chat 的单条消息卡片上，官方文档明确写过：右键那条消息选择 Copy，会把内容以 Markdown 形式复制到剪贴板；在侧栏空白处
AIGC时代的网络安全威胁与应急响应机制构建

AIGC时代的网络安全威胁与应急响应机制构建

文章目录 * 一、AIGC时代的网络安全威胁 * 二、应急响应机制的构建 * 三、代码示例 * 《网络安全应急管理与技术实践》 * 编辑推荐 * 内容简介 * 作者简介 * 目录 * 前言/序言 随着人工智能生成内容（AIGC）技术的迅猛发展，我们正步入一个前所未有的创新与变革的新时代。然而，与这一技术革新相伴的，不仅仅是便利和效率的提升，更有日益严峻的网络安全威胁。AIGC技术在显著提升内容生成效率与质量的同时，也悄然带来了新的攻击面与潜在风险，这些风险若不及时应对，将对个人、组织乃至整个社会造成深远的影响。 一、AIGC时代的网络安全威胁 在AIGC时代，数据泄露与隐私侵犯的风险愈发突出。AIGC技术依赖于海量数据，这些数据中不乏敏感信息，一旦数据保护措施出现疏漏，这些信息就可能被不法分子恶意利用，导致个人隐私泄露、财产损失等严重后果。 此外，恶意代码注入也是AIGC系统面临的一大威胁。在系统的训练或推理过程中，如果输入数据未经严格过滤，就可能被注入恶意代码，进而引发系统瘫痪、数据篡改等安全问题。 算法偏见与歧视同样不容忽视。