如何下载、安装whisper、faster_whisper?

1、模型种类

whisper:有很多模型:tiny、base、small、medium、large等

faster_whisper:模型种类与whisper类似

2、模型安装

特别注意:whisper和faster_whisper中的模型,有两种获得方式。

①在网址:https://github.com/openai/whisper上有提示:pip install -U openai-whisper,下载结果为  .pt文件。在网址:https://github.com/SYSTRAN/faster-whisper上有提示:pip install faster-whisper,下载结果为.pt文件

②在网址:https://huggingface.co/,进行搜索 whisper,根据提示,可以下载 large-v3和large-v3-turbo,下载结果为文件,与①不同(特别注意)

3.模型运行

①按照①方法下载的模型:运行代码参考网址:https://github.com/openai/whisperhttps://github.com/openai/whisper ,示例如下:

import whisper

model = whisper.load_model("turbo")

# load audio and pad/trim it to fit 30 seconds
audio = whisper.load_audio("audio.mp3")
audio = whisper.pad_or_trim(audio)

# make log-Mel spectrogram and move to the same device as the model
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)

# detect the spoken language
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")

# decode the audio
options = whisper.DecodingOptions()
result = whisper.decode(model, mel, options)

# print the recognized text
print(result.text)

以上代码,要求# load audio and pad/trim it to fit 30 seconds,提示:whisper模型要求一句话进行识别,如果音频时间太短,可能识别结果不准确,具体请自行尝试。

②按照①方法下载的模型:运行代码参考网址:https://github.com/SYSTRAN/faster-whisperhttps://github.com/SYSTRAN/faster-whisper ,示例如下:

from faster_whisper import WhisperModel

model_size = "large-v3"

# Run on GPU with FP16
model = WhisperModel(model_size, device="cuda", compute_type="float16")

# or run on GPU with INT8
# model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
# or run on CPU with INT8
# model = WhisperModel(model_size, device="cpu", compute_type="int8")

segments, info = model.transcribe("audio.mp3", beam_size=5)

print("Detected language '%s' with probability %f" % (info.language, info.language_probability))

for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

以上代码,model=WhisperModel(...),可以指定cuda编号,以便合理利用资源。

③按照②方法下载的模型,可以参考vllm网址:https://github.com/vllm-project/vllmhttps://github.com/vllm-project/vllm

vllm框架中的whisper模型和faster_whisper模型一定是来自huggingface。

关于vllm安装踩坑问题,以后发布。

Read more

Stable Diffusion WebUI 本地部署完整教程

Stable Diffusion WebUI 本地部署完整教程

Stable Diffusion WebUI 本地部署完整教程(AUTOMATIC1111 版) 本教程基于 Windows 系统,适合 AI 绘画爱好者或初学者,旨在帮助大家从零部署并运行本地的 Stable Diffusion 模型界面(Web UI)。我们将从克隆项目、配置环境到运行界面,并附上常见网络问题的解决方案。 一、准备工作 1. 安装依赖 * Python 3.10.x * Git(推荐官网下载最新版) * 显卡驱动 + CUDA(NVIDIA 用户,建议驱动更新到最新版) 安装好后,确保 Python 和 Git 都加入了系统环境变量。 二、克隆项目仓库 使用如下命令克隆 AUTOMATIC1111 的 Web UI 项目:

Pi0机器人VLA大模型在昇腾A2平台上的测评

Pi0机器人VLA大模型在昇腾A2平台上的测评

Pi0机器人VLA大模型在昇腾A2平台上的测评文档 * 写在最前面 🌈你好呀!我是 是Yu欸🚀 感谢你的陪伴与支持~ 欢迎添加文末好友🌌 在所有感兴趣的领域扩展知识,不定期掉落福利资讯(*^▽^*) 写在最前面 版权声明:本文为原创,遵循 CC 4.0 BY-SA 协议。转载请注明出处。 随着人工智能技术的持续神户以及人形机器人产业的快速发展,算力在提升机器人运动控制精度、实时响应能力与智能化水平方面的作用日益凸显。为实现降本增效,国产化算力代替需求不断攀升,本文基于国产化适配的 Pi0机器 VLA大模型,在昇腾 Atlas 800I A2服务器上完成部署与测试,结果表明:该模型在推理性能、推理精度及功能完整性等方面,不仅实现了与英伟达同级别硬件相当的算力表现,更在部分场景下表现出更优的运行效率。 这一成果充分表明:经过深度适配的国产大模型与国产算力平台,已具备支撑高端人形机器人智能化发展的核心技术能力。国产算力在人形机器人领域的应用场景广阔,正加速迈向自主可控、高效可靠的全新阶段。 一、测评概述 1.1 测试目的 本测评旨在验证Pi0机器人视觉

74个低空无人机AI算法详解,总体精度达90%,公安执法、消防应急、水利、林业、能源电力、城建、市政、城管、工程、农业、生态

74个低空无人机AI算法详解,总体精度达90%,公安执法、消防应急、水利、林业、能源电力、城建、市政、城管、工程、农业、生态

公安执法 一、人员智能识别与管控 聚焦人员相关的身份、行为、状态识别,核心服务于治安防控、人群管理、突发事件处置,是公安基层执法的核心应用方向: 1. 人员识别/计数:支持复杂场景(人群聚集、遮挡、移动)下的人员精准检测与数量统计,实时反馈人群密度,为大型活动安保、人群聚集风险管控提供数据支撑; 2. 人员异常聚焦识别:识别人员突然聚集、徘徊、逃窜、翻越护栏等异常行为,快速锁定可疑区域,触发执法预警; 3. 打架斗殴识别:精准检测肢体冲突、推搡、殴打等暴力行为,毫秒级触发预警并定位事发位置,助力执法人员快速处置,减少冲突升级; 4. 重点人员监控识别:对接公安重点人员数据库,通过人脸识别算法实现低空移动场景下的重点人员精准匹配与轨迹追踪,支持跨区域、动态化管控; 5. 人员属性识别:识别人员性别、年龄段、衣着特征、是否携带疑似管制器具 / 大件物品等属性信息,

告别从零开发!AI+AR眼镜开源方案来了|PUSHI G1赋能18个全场景,联动腾讯/阿里云落地

告别从零开发!AI+AR眼镜开源方案来了|PUSHI G1赋能18个全场景,联动腾讯/阿里云落地

在人工智能(AI)与增强现实(AR)技术深度融合、加速渗透千行百业的产业浪潮中,深圳企业凭借前沿硬件研发实力与生态构建思维,率先完成从单一硬件供给到全链条系统生态布局的关键跨越,推出AI+AR眼镜应用开放平台。该平台打破行业壁垒,兼容不同厂家的AI/AR眼镜技术方案,彻底解决当前市场核心痛点——市面上多数AI/AR眼镜方案局限于自有品牌闭环,未开放音视频推拉流SDK接口,导致开发者难以基于现有硬件二次开发,创意落地面临“从零起步”的高门槛困境。 作为平台核心支撑,PUSHI G1 AI眼镜开源技术方案构建“硬件+软件+API+SDK”全栈开放体系,覆盖1人创业团队、高校科研小组、学生创新创业项目等各类开发者群体,提供低门槛、高自由度、高兼容性的二次开发环境,实现“让创意无需从零搭建,让技术赋能人人创新”,推动AI+AR技术从专业领域走向个体创新,激活全场景应用潜能。方案深度联动腾讯云、阿里云、高德地图等主流平台API,形成“硬件适配-算法调用-场景落地”全链条支撑。 一、PUSHI