《发现了一种本地AI服务远程管理难题与一种加密隧道解决方案!》

《发现了一种本地AI服务远程管理难题与一种加密隧道解决方案!》

现在用着开源大语言模型、Stable Diffusion这类AI工具的人越来越多了,不少开发者都选在自己家或者公司的本地硬件上搭AI服务,比如带显卡的台式机、Linux服务器,还有NAS设备都行。这么弄确实能完全自己掌控隐私,数据也全在自己手里,但麻烦事儿也来了:怎么才能安全又方便地从外面的网络远程访问、管理这些本地的AI服务呢?

image.png

以前常用的端口映射办法吧,不安全;要搭VPN的话,步骤又太复杂,一般人搞不定。今天咱们就聊聊用P2P虚拟组网技术做的那种简单好用的解决办法。

本地部署AI后,常见的远程访问需求包括:

  1. 状态监控:在外查看服务的CPU/GPU占用、日志和运行状态。
  2. 交互操作:远程使用WebUI(如ChatGPT-Next-Web、Stable Diffusion WebUI)进行推理或生图。
  3. 文件管理:安全地传输生成的文件或更新模型。

直接通过公网IP+端口暴露服务,相当于将内网服务置于公网扫描之下,极易成为攻击目标。而商用远程桌面软件通常延迟较高,且不适合长期后台服务管理。

一种思路:如果构建加密的虚拟局域网呢?

理想的方案是,让远程设备(如手机、公司电脑)在逻辑上“出现”在本地AI主机所在的局域网中,从而像在内网一样直接访问服务。这可以通过点对点(P2P)虚拟组网技术实现。其核心是,在每个设备上安装一个轻量级客户端,通过加密隧道将所有设备连接到一个虚拟的、私有的网络中。

实践步骤:以一款工具为例

这里以一款名为节点小宝的P2P组网工具为例,演示如何快速搭建此类环境。该工具支持全平台,并提供了一键安装脚本。

image.png
  1. 在AI主机(服务端)安装客户端

假设你的AI服务运行在Ubuntu Linux上。

  • 打开终端,执行以下命令:
curl -fsSL https://iepose.com/install.sh | sudo bash 
  • 脚本会自动完成下载、安装和系统服务注册。安装后,通常会自动启动并弹出Web管理页面,根据相对应的提示登录绑定账号。
  1. 在访问端(客户端)安装

在你的手机(通过应用商店安装App)或另一台电脑上,同样安装客户端并登录同一个账号

image.png
  1. 实现远程访问

登录成功后,所有设备会获得一个该虚拟网络内的固定IP(例如 100.66.1.x)。此时,你在公司电脑的浏览器中输入 http://100.66.1.2:7860(假设家中AI主机的虚拟IP是 100.66.1.2,服务端口是 7860),即可直接访问家中运行的Stable Diffusion WebUI,如同在本地网络一样。

image.png

技术优势与原理简述

无需公网IP与端口映射:无需改动路由器设置,从根源上杜绝了因开放端口带来的攻击面。

端到端加密:所有设备间的通信均使用加密隧道,保障数据传输隐私。

P2P直连:在NAT类型允许的情况下,设备间会建立直接连接,延迟低、带宽高;若无法直连,则会通过加密中继服务器转发。

对于拥有本地AI服务的开发者而言,在享受数据自主权的同时,通过P2P虚拟组网技术解决远程访问问题,是一个安全性与便利性兼顾的选择。它使得本地算力能够真正突破地理限制,服务于随时随地的开发、调试与使用需求,让“私有AI”不仅私有,而且易用。

Read more

【FPGA入坑指南第二章】安装vivado/vitis2023.1软件

【FPGA入坑指南第二章】安装vivado/vitis2023.1软件

本栏目的初心 降低FPGA的门槛,让所有对FPGA感兴趣的,之前望而却步的朋友也能上手玩一玩,体验一下FPGA的世界。【本栏作者贯彻“先进入再深入”的中心思想】 引文 * AMD官方软件下载地址 vivado开发者工具 * 百度云下载包 Xilinx2023.1安装包「其他版本可以联系作者」 简介 Vivado和Vitis是Xilinx(现为AMD的一部分)推出的两款核心软件工具,它们在FPGA和SoC(系统级芯片)设计中占据着重要地位。这两款软件的推出代表了Xilinx在数字设计领域的持续创新与发展,并且逐步取代了早期的ISE和SDK工具套件。 ISE和SDK的历史背景 在Vivado和Vitis推出之前,Xilinx的ISE(Integrated Software Environment)是FPGA设计的主要开发环境。ISE主要用于Xilinx早期的FPGA系列,如Spartan和Virtex系列。ISE支持从RTL设计、综合、布局布线到生成比特流文件的整个设计流程,但其在时序优化、设计复杂度和开发效率方面逐渐暴露出一些局限性,尤其是对于更高端的FPGA系列和

By Ne0inhk
安卓手机安装Termux+AstrBot+NapCat搭建QQ个人机器人【非官方】(简易版)

安卓手机安装Termux+AstrBot+NapCat搭建QQ个人机器人【非官方】(简易版)

前言        好久不见,亲爱的友友们,这次我来了!这次我学会了用旧安卓手机安装termux软件搭建了一个AstrBotQQ机器人(大模型可能跑不了),我使用的旧安卓手机是vivoY31s标准版,手机型号有点久,到时能用就行了。其实方法都通用差不多。 目录 目录 前言 目录 一、简介 1.Termux 2.AstrBot 3.NapCat  二、步骤 1. 安装Termux 2. 更新系统包打开 Termux,依次执行以下命令,更新软件源并安装基础工具。 换源 (可选) 3. 申请存储权限 正式部署 安装 proot-distro 及 其他必须组件 登录 Ubuntu环境 添加第三方PPA 安装 Python 克隆 AstrBot 仓库 运行 AstrBot

By Ne0inhk
从一个尴尬的春节聚会说起:我用 Rokid AR 眼镜做了个聚会游戏助手

从一个尴尬的春节聚会说起:我用 Rokid AR 眼镜做了个聚会游戏助手

从一个尴尬的春节聚会说起:我用 Rokid AR 眼镜做了个聚会游戏助手 今年春节,我被委以重任——负责组织家里亲戚们的游戏环节。本以为简单的真心话大冒险,却让我手忙脚乱:一边在手机上翻找题目,一边还要解释规则,更要命的是,每次我刚把题目看个大概,旁边眼尖的表弟就已经喊出了答案。整个游戏下来,我疲于奔命,大家也玩得不尽兴。 那一刻我就在想:如果有一个设备能让我从容掌控游戏节奏,同时又不暴露题目给所有人,该多好? 直到我接触到 Rokid CXR-M SDK,我意识到——这个想法可以实现。这篇文章,就是我如何用这款 SDK 开发聚会游戏助手的完整记录。 一、为什么是 AR 眼镜?一个产品思考 在动手写代码之前,我花了不少时间思考:为什么不用手机 App 就够了? 场景手机方案AR眼镜方案组织者状态眼睛盯着手机屏幕抬头看向参与者题目保密容易被旁人看到只有组织者可见游戏氛围“等等,我看下题”流畅自然时间把控需要看时钟倒计时直接显示 核心差异在于:手机方案把组织者变成了"管理员&

By Ne0inhk
Project AirSim简介(1):无人机避障算法解析

Project AirSim简介(1):无人机避障算法解析

目录 一、为什么选择 Project AirSim 二、无人机避障算法解析 2.1 初始化与连接 2.2 图像订阅与显示 2.3 起飞与准备工作 2.4 深度图避障逻辑核心 2.4.1 获取前置深度图 2.4.2 取图像上半部分 2.4.3 横向分割为五个区域 2.4.4 判断最近障碍与最开阔方向 2.4.5 悬停操作避免碰撞 2.4.6 动态调整航向(yaw) 2.4.7 以固定高度和速度前进 2.5

By Ne0inhk