百川 2-13B-Chat WebUI v1.0 完整部署指南

若显示"✅ 运行中"，则服务正常。若停止，需手动启动。

2.3 启动服务

如服务未运行，使用 Supervisor 或自带脚本启动：

# 使用 Supervisor 启动
supervisorctl start baichuan-webui

# 或使用项目脚本
./manage.sh start

首次启动需加载模型至 GPU 显存，耗时约 30 秒至 1 分钟。可通过日志监控进度：

tail -f logs/baichuan-webui.log

出现"Model loaded successfully"即表示加载完成。

2.4 访问 Web 界面

服务启动后，在浏览器输入地址：

# 本机访问
http://localhost:7860
http://127.0.0.1:7860

# 远程访问（替换为服务器 IP）
http://你的服务器 IP:7860

界面包含对话历史区、参数设置区和输入区。

3. 第一次对话

3.1 基础测试

在输入框发送问候语：

你好，请介绍一下你自己。

首次响应可能稍慢，后续对话速度会提升。

3.2 任务示例

• 写代码：帮我写一个 Python 函数，计算斐波那契数列的前 n 项。
• 回答问题：用简单的语言解释一下什么是神经网络。
• 创作内容：帮我写一段关于春天的散文，100 字左右。
• 翻译任务：把这句话翻译成英文："人工智能正在改变我们的生活和工作方式。"

3.3 模型特点

1. 支持多轮对话：保留上下文记忆
2. 中英双语：处理流畅
3. 代码能力强：擅长 Python、JavaScript 生成
4. 逻辑推理：能处理推理问题

限制：知识截止 2023 年 7 月，单次对话长度有限，复杂数学计算精度一般。

4. 参数调节

Web 界面右侧有"高级设置"区域，可调整核心参数。

4.1 Temperature（温度）

控制回答随机性，范围 0.1 到 2.0。

建议：写代码用 0.2-0.3，聊天用 0.7，创意时调至 1.0 以上。

4.2 Top-p（核采样）

控制词汇选择范围，范围 0.1 到 1.0。

• 0.1-0.5：保守、准确
• 0.9-1.0：丰富、多样

建议：保持默认 0.9，若回答奇怪可调至 0.7。

4.3 Max Tokens（最大长度）

控制生成长度，范围 1 到 2048。

技巧：日常对话用 512，长文章用 1024 或 2048，过大可能导致生成变慢。

5. 服务管理

5.1 常用命令

# 检查状态
./check.sh

# 查看日志
./manage.sh logs

# 重启服务
./manage.sh restart

# 停止服务
./manage.sh stop

# 查看帮助
./manage.sh help

5.2 查看 GPU 使用情况

nvidia-smi

4bits 版本通常占用 10-12GB 显存。

5.3 开机自启动

项目已配置 Supervisor 开机自启。验证方法：

systemctl status supervisor
supervisorctl status baichuan-webui

显示 RUNNING 即正常。

5.4 常见问题排查

网页打不开：

./check.sh
supervisorctl start baichuan-webui
netstat -tulpn | grep 7860
sudo ufw allow 7860/tcp

回复速度慢：

1. 首次加载需等待 30-60 秒
2. 检查 GPU 是否被其他程序占用
3. 降低 Max Tokens 设置
4. 检查系统资源

显存不足：

supervisorctl restart baichuan-webui
nvidia-smi

确保关闭其他 GPU 程序，确认使用 4bits 版本。

6. 使用技巧

6.1 提问技巧

• 具体化：用 Python 写一个函数，接收整数列表，返回去重后的新列表 优于 写代码
• 给上下文：我正在学习机器学习，请用通俗语言解释过拟合 优于 解释一下
• 指定格式：请用表格对比 Python 和 Java... 优于 比较 Python 和 Java

6.2 角色扮演

让模型扮演特定角色以获得专业回答：

• 你是一位经验丰富的软件架构师，请帮我设计微服务架构的用户管理系统。
• 你是一位专业的英语老师，请纠正我这句话的语法错误。

6.3 分步处理

复杂任务拆分为步骤：

1. 列出核心功能模块
2. 设计数据库表结构
3. 编写 API 接口文档

6.4 代码相关

• 生成：用 Python 实现一个简单的 Web 爬虫...
• 解释：请逐行解释下面这段代码的作用...
• 调试：提供报错信息，请求修复。

6.5 学习辅助

• 解释概念：用比喻的方式解释数据库索引...
• 生成练习：给我出 5 道关于 Python 列表操作的练习题...
• 学习计划：我想在三个月内掌握 Python 数据分析，请制定计划...

7. 应用场景

• 编程开发：生成代码片段、审查代码、写文档
• 内容创作：写大纲、社交媒体内容、邮件报告
• 学习研究：解释概念、生成资料、总结论文
• 日常工作：会议纪要、待办整理、汇报材料

8. 性能优化

8.1 提升响应速度

1. 调整 Max Tokens 至 512 或 256
2. 使用 SSD 存储模型文件
3. 关闭其他 GPU 程序
4. 使用低温度值（<0.3）

8.2 节省显存

1. 定期重启服务防止内存泄漏
2. 使用 nvidia-smi 监控
3. 考虑更小的模型版本（如 7B）

8.3 提高质量

1. 提供更多上下文
2. 使用系统提示设定角色
3. 迭代优化反馈

9. 安全与注意事项

9.1 安全建议

1. 不输入敏感信息（密码、密钥）
2. 验证关键信息
3. 注意内容审核
4. 遵守许可协议

9.2 数据保存

对话历史默认不永久保存。重要对话需手动复制保存或修改代码添加保存功能。

9.3 资源监控

定期检查系统资源：

watch -n 1 nvidia-smi
free -h
df -h
tail -f /root/baichuan2-13b-webui/logs/baichuan-webui.log

10. 总结

百川 2-13B-Chat WebUI v1.0 是一个实用的本地大语言模型部署方案。

优点：

1. 部署简单，开箱即用
2. 资源友好，4bit 量化降低显存需求
3. 性能均衡，中英文及代码能力强
4. 界面直观，管理方便

适合人群：开发者、程序员、学生研究者、内容创作者及技术爱好者。

快速开始：

1. 运行 ./check.sh 检查状态
2. 访问 http://你的 IP:7860 打开界面
3. 开始对话尝试

遇到问题先查看日志，check.sh 脚本可辅助诊断。