Amazon SageMaker 部署 AIGC 应用：训练 - 优化 - 部署 - Web 前端集成应用实践

优质文章学习记录

— 8 min read
Amazon SageMaker 部署 AIGC 应用：训练 - 优化 - 部署 - Web 前端集成应用实践

Amazon SageMaker 部署 AIGC 应用：训练 - 优化 - 部署 - Web 前端集成应用实践

背景

在这里插入图片描述
Amazon SageMaker 汇集广泛采用的亚马逊云科技机器学习和分析功能，统一访问所有数据，为分析和人工智能提供一体式体验，使用亚马逊云科技机工具进行模型开发、生成式人工智能、数据处理和 SQL 分析，在融通式合作开发工作室中加快协作和构建，借助强大的生成式人工智能软件开发助手 Amazon Q 开发者版提升效率，无论数据存储在数据湖、数据仓库，还是第三方或联合数据来源中，均可访问所有数据，同时内置治理功能可满足企业安全需求。

前言

本文将通过 Amazon SageMaker Notebook 实例完成 AIGC 模型的测试与验证，再将模型部署至 Amazon SageMaker Inference Endpoint 实现服务化，最后利用 Amazon Cloud 9 调试 Web 应用，并调用已部署的 SageMaker Inference Endpoint 实现 AIGC 模型的实际应用

Amazon SageMaker 部署 AIGC 模型

步骤一：创建亚马逊云科技账户
1、注册亚马逊云科技官网



2、进入注册页面（使用电子邮件地址进行注册）进入 创建亚马逊云科技账户页面（如果最近登录过亚马逊云科技，请选择登录控制台。如果未显示创建新亚马逊云科技账户，请首先选择登录其他账户，然后选择创建新亚马逊云科技账户）根用户电子邮件地址 中，输入电子邮件地址，编辑亚马逊云科技账户名称，然后选择验证电子邮件地址，该地址会收到一封包含验证码的亚马逊云科技验证电子邮件

安全验证

验证电子邮件地址（输入收到的代码，然后选择验证，可能需要几分钟才会收到代码，检查电子邮件和垃圾邮件文件夹中是否有验证码电子邮件）



3、设置用户信息：输入根用户密码和确认根用户密码，选择个人或企业



4、添加付款信息（ 账单信息页面上，输入付款方式的信息，然后选择验证并添加，必须先添加有效的支付方式才能继续注册）



5、用户信息验证（选择接收验证码的联系方式、选择电话号码的国家或地区代码）



6、客户验证与激活账户（选择亚马逊云科技支持服务计划）



7、注册成功

步骤二：创建Amazon SageMaker Notebook实例
1、登录亚马逊云科技控制台



2、进入SageMaker服务，查找服务处搜索SageMaker



3、进入Notebook笔记本实例控制面板（左侧菜单栏，点击笔记本实例，进入笔记本Notebook实例控制面板）



4、创建笔记本实例


5、配置笔记本实例设置，创建笔记本实例详情页中，配置笔记本实例的基本信息（设置笔记本实例的名称、选择笔记本实例、以及存储的大小）



6、配置笔记本实例权限（笔记本实例创建一个IAM角色，用于调用调用包括 SageMaker 和 S3 在内的其他服务，例如上传模型，部署模型等）IAM角色出，点击下拉列表，选择创建新角色



7、弹出的配置页面中，默认配置即可



8、成功创建IAM角色



9、创建实例（检查先前配置的信息，确认无误点击创建笔记本实例）



10、等待实例创建成功，进入Jupyter Notebook


11、构建Stable-Diffusion环境（Jupyter Lab控制台，选择最下面的Terminal）



12、下载Notebook代码文件



13、打开刚刚下载的Notebook文件，内核选择conda_pytorch_p39

步骤三：Amazon Cloud 9 构建前后端Web应用
1、亚马逊云科技控制台进入 Cloud9 服务


2、创建Cloud 9 环境



3、配置Cloud 9 环境名字配置

其他部分配置保持默认，等待创建创建成功即可



4、进入Amazon Cloud9 环境



5、Cloud9 下方的控制台中输入以下指令下载保存Web应用程序代码压缩文件，并将该压缩文件进行解压

解压后SampleWebApp文件夹包含以下内容：后端代码 app.py：接收前端请求并调用 SageMaker Endpoint 将文字生成图片两个前端html文件 image.html 和 index.html

6、Amazon Cloud9上安装 Flask 和 boto3





7、运行 app.py，并且点击 Amazon Cloud9 上方的 Run 按钮运行代码



8、预览web前端页面



9、Amazon Cloud9 环境打开web 页面



10、输入信息生成图片（自定义图片长度和宽度，Prompt 输入框处输入语句或描绘性词汇生成图片）输入语句时，详细描述需求信息，以便AI绘制出的图片更贴合预期，比如通过描述性词语，如 cartoon style、van gogh style、realistic 表明图片的整体风格例如：可将长度和宽度都设置成512，输入以下描绘性语句生成一张卡通风格的宇航员猴子图片，以及一张超级英雄的图片



11、成功页面展示



Amazon SageMaker工作原理

在这里插入图片描述
Amazon SageMaker 全托管机器学习服务，通过整合数据处理、模型训练、超参数优化、部署推理的全流程能力，支持开发者使用 Notebook 实例快速调试 AIGC 模型，借助分布式训练集群加速算法迭代，并将模型高效部署为可自动扩缩容的 Inference Endpoint，同时深度集成亚马逊云科技生态S3 存储、CloudWatch 监控等，以容器化架构和 Kubernetes 集群管理实现从开发到生产的无缝衔接，大幅降低机器学习工程化门槛完全托管服务：用户无需操心服务器等基础设施的管理，SageMaker 负责处理硬件资源的配置、管理和维护，将用户从复杂的运维工作中解放出来，使开发者专注于机器学习模型的开发，大大降低运维成本和复杂性集成开发环境强大：提供基于 Web 的可视化界面，集成了数据探索、模型训练、调试、评估和部署等所有机器学习开发步骤，为数据科学团队提供了一站式的工作平台，能显著提高工作效率支持自动模型构建：依据用户提供的数据自动构建、训练和调整最佳机器学习模型，无需人工进行特征准备、算法测试和模型参数优化等繁琐工作，让没有深厚机器学习专业知识的用户也能快速构建分类和回归模型

总结

在这里插入图片描述
本文通过创建亚马逊云科技账户、搭建 SageMaker Notebook 实例测试 Stable-Diffusion 模型、利用 Cloud9 构建 Web 应用并调用模型 Endpoint，实现 AIGC 应用从训练到前端集成的全流程实践，展现 SageMaker 全托管、集成开发及自动化模型构建的核心优势，降低 AIGC 工程化门槛。如果小伙伴们感兴趣可以访问亚马逊云科技官网进行免费体验哈！
友情提示：如果决定不再使用服务的话，记得要在控制台关闭服务，以防超过免费额度产生扣费

Read more

极致压缩：Whisper.cpp 量化版本清单与 ggml 格式模型下载

Whisper.cpp 量化模型下载指南 Whisper.cpp 是 OpenAI Whisper 语音识别模型的高效 C++ 实现，支持量化技术来减小模型尺寸，实现“极致压缩”。量化通过降低模型参数的精度（如从 32 位浮点数到 4 位整数）来减少存储和计算需求，同时保持合理的准确性。ggml 格式是一种轻量级模型格式，专为资源受限设备优化。以下信息基于 Whisper.cpp 官方 GitHub 仓库（真实可靠），我将逐步引导您获取量化版本清单和下载链接。 1. 量化版本清单 Whisper.cpp 支持多种量化级别，每种对应不同的压缩率和精度权衡。以下是常见量化版本清单（基于最新官方数据）： * q4_0：4 位量化，极致压缩，模型尺寸最小，适合内存受限设备（如嵌入式系统）。精度损失较高。

OpenClaw之Memory配置成本地模式，Ubuntu+CUDA+cuDNN+llama.cpp

文章目录 * 背景：Memory不生效的问题 * OpenClaw的Memory配置 * Ubuntu24.04安装CUDA和cuDNN * 编译llama.cpp * 验证方案1： * 验证方案2：下载并运行Llama-2 7B模型 * 安装node-llama-cpp * 验证Memory * sqlite-vec unavailable * 踩过的坑 * 安装node-llama-cpp的一些提示 * 安装node-llama-cpp的前置条件 * Using `node-llama-cpp` With Vulkan 承接上文：Windows11基于WSL2首次运行Openclaw，并对接飞书应用，我已经在电脑上安装了OpenClaw，接下来解决Memory问题。走了很多弯路，下面主要讲我总结的正确的安装过程。 总结来说：针对Memory不生效的问题，又不想用OpenAI或Gemini，或者只想单纯的节省token，可以按照如下的方式，设置为local模式： * 修改openclaw.json配置 * 安装CUDA和cu
日语视频 SRT 字幕生成软件下载：日语视频本地自动翻译SRT字幕生成、日语视频自动翻译 Faster Whisper v1.7 下载与使用教程（含AMD显卡支持）

日语视频 SRT 字幕生成软件下载：日语视频本地自动翻译SRT字幕生成、日语视频自动翻译 Faster Whisper v1.7 下载与使用教程（含AMD显卡支持）

日语视频 SRT 字幕生成软件下载：日语视频本地自动翻译SRT字幕生成、日语视频自动翻译 Faster Whisper v1.7 下载与使用教程（含AMD显卡支持） 关键词：Faster Whisper 教程、Whisper 本地部署、CUDA 12.8 下载、AMD ROCm Whisper、日文转中文 转录工具、Whisper 批处理模式、RTX 50 CUDA 版本选择 下载地址: https://pan.quark.cn/s/b18c407fc471 这篇文章系统整理 Faster-Whisper-TransWithAI-ChickenRice v1.7 的版本说明、显卡选择方式、下载地址以及快速上手流程，尤其是： * ✅ 基础版 vs 海南鸡版区别

Intel GPU加速llama.cpp：SYCL后端完整配置与性能调优指南

Intel GPU加速llama.cpp：SYCL后端完整配置与性能调优指南 【免费下载链接】llama.cppPort of Facebook's LLaMA model in C/C++ 项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp 随着Intel Arc显卡在消费级市场的普及，越来越多的开发者希望利用Intel GPU来加速大语言模型的推理。llama.cpp作为当前最流行的开源LLM推理框架，通过SYCL后端为Intel GPU提供了强大的计算支持。本文将从实际使用角度出发，深入解析SYCL后端的配置要点和性能优化技巧。 为什么SYCL是Intel GPU的最佳选择？ 在llama.cpp的多后端架构中，SYCL相比传统的OpenCL具有显著优势。SYCL基于现代C++标准，提供了更简洁的编程模型和更好的编译器支持。对于Intel Arc显卡用户，SYCL能够充分利用Xe架构的硬件特性，在矩阵乘法等核心操作上实现更高的计算效率。 环境配置：避开常见的安装陷阱 正确安装Intel