如何下载、安装whisper、faster_whisper?

1、模型种类

whisper:有很多模型:tiny、base、small、medium、large等

faster_whisper:模型种类与whisper类似

2、模型安装

特别注意:whisper和faster_whisper中的模型,有两种获得方式。

①在网址:https://github.com/openai/whisper上有提示:pip install -U openai-whisper,下载结果为  .pt文件。在网址:https://github.com/SYSTRAN/faster-whisper上有提示:pip install faster-whisper,下载结果为.pt文件

②在网址:https://huggingface.co/,进行搜索 whisper,根据提示,可以下载 large-v3和large-v3-turbo,下载结果为文件,与①不同(特别注意)

3.模型运行

①按照①方法下载的模型:运行代码参考网址:https://github.com/openai/whisperhttps://github.com/openai/whisper ,示例如下:

import whisper

model = whisper.load_model("turbo")

# load audio and pad/trim it to fit 30 seconds
audio = whisper.load_audio("audio.mp3")
audio = whisper.pad_or_trim(audio)

# make log-Mel spectrogram and move to the same device as the model
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)

# detect the spoken language
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")

# decode the audio
options = whisper.DecodingOptions()
result = whisper.decode(model, mel, options)

# print the recognized text
print(result.text)

以上代码,要求# load audio and pad/trim it to fit 30 seconds,提示:whisper模型要求一句话进行识别,如果音频时间太短,可能识别结果不准确,具体请自行尝试。

②按照①方法下载的模型:运行代码参考网址:https://github.com/SYSTRAN/faster-whisperhttps://github.com/SYSTRAN/faster-whisper ,示例如下:

from faster_whisper import WhisperModel

model_size = "large-v3"

# Run on GPU with FP16
model = WhisperModel(model_size, device="cuda", compute_type="float16")

# or run on GPU with INT8
# model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
# or run on CPU with INT8
# model = WhisperModel(model_size, device="cpu", compute_type="int8")

segments, info = model.transcribe("audio.mp3", beam_size=5)

print("Detected language '%s' with probability %f" % (info.language, info.language_probability))

for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

以上代码,model=WhisperModel(...),可以指定cuda编号,以便合理利用资源。

③按照②方法下载的模型,可以参考vllm网址:https://github.com/vllm-project/vllmhttps://github.com/vllm-project/vllm

vllm框架中的whisper模型和faster_whisper模型一定是来自huggingface。

关于vllm安装踩坑问题,以后发布。

Read more

AI可解释性:LIME解释

AI可解释性:LIME解释

AI可解释性:LIME解释 📝 本章学习目标:本章聚焦性能优化,帮助读者提升模型效率。通过本章学习,你将全面掌握"AI可解释性:LIME解释"这一核心主题。 一、引言:为什么这个话题如此重要 在人工智能快速发展的今天,AI可解释性:LIME解释已经成为每个AI从业者必须掌握的核心技能。Python作为AI开发的主流语言,其丰富的生态系统和简洁的语法使其成为机器学习和深度学习的首选工具。 1.1 背景与意义 💡 核心认知:Python在AI领域的统治地位并非偶然。其简洁的语法、丰富的库生态、活跃的社区支持,使其成为AI开发的不二之选。掌握Python AI技术栈,是进入AI行业的必经之路。 从NumPy的高效数组运算,到TensorFlow和PyTorch的深度学习框架,Python已经构建了完整的AI开发生态。据统计,超过90%的AI项目使用Python作为主要开发语言,AI岗位的招聘要求中Python几乎是标配。 1.2 本章结构概览 为了帮助读者系统性地掌握本章内容,我将从以下几个维度展开: 📊 概念解析 → 原理推导 → 代码实现 → 实战案例 → 最佳

Stable Diffusion WebUI Forge模型评估终极指南:从入门到精通的3大实战技巧

Stable Diffusion WebUI Forge模型评估终极指南:从入门到精通的3大实战技巧 【免费下载链接】stable-diffusion-webui-forge 项目地址: https://gitcode.com/GitHub_Trending/st/stable-diffusion-webui-forge Stable Diffusion WebUI Forge是基于Stable Diffusion WebUI构建的强大AI绘画平台,专为简化开发流程、优化资源管理和加速推理而设计。这个项目为AI绘画爱好者提供了完整的解决方案,让用户能够轻松评估不同模型的表现,实现从基础到高级的AI绘画创作。 🔥 为什么选择Forge进行模型评估? Forge不仅仅是一个简单的AI绘画工具,它是一个完整的生态系统,集成了多种先进功能: 1. 全面的模型支持 Forge原生支持多种主流AI绘画模型,包括: * Stable Diffusion系列:SD1.5、SD2.1、SDXL等经典模型 * FLUX模型:支持BitsandBytes量化、GGUF格式等 * Ch

Llama-3.2V-11B-cot在金融文档处理中的应用:财报截图数据逻辑验证案例

Llama-3.2V-11B-cot在金融文档处理中的应用:财报截图数据逻辑验证案例 1. 项目背景与工具介绍 Llama-3.2V-11B-cot是基于Meta Llama-3.2V-11B-cot多模态大模型开发的高性能视觉推理工具,特别针对金融文档处理场景进行了优化。该工具在双卡4090环境下表现出色,通过深度优化解决了视觉权重加载等关键问题,支持Chain of Thought(CoT)逻辑推演能力。 在金融领域,分析师每天需要处理大量财报截图、数据表格和图表。传统人工验证方式效率低下且容易出错。Llama-3.2V-11B-cot的视觉推理能力可以自动识别金融文档中的关键数据,并进行逻辑验证,大幅提升工作效率。 2. 金融文档处理的核心挑战 2.1 传统方法的局限性 金融文档处理面临三大核心挑战: * 数据识别准确率低:财报截图中的表格结构复杂,传统OCR技术难以准确识别 * 逻辑验证困难:财务数据间的勾稽关系需要专业金融知识才能验证 * 处理效率低下:人工核对一份财报平均需要2-3小时,高峰期难以应对 2.2 Llama-3.2V-11B-cot的

从Alpaca到Vicuna:如何用Llama Factory轻松切换对话模板

从Alpaca到Vicuna:如何用Llama Factory轻松切换对话模板 如果你正在研究大语言模型,可能会遇到这样的困扰:每次想比较不同提示模板对模型输出的影响时,都需要手动修改大量配置,既耗时又容易出错。本文将介绍如何利用Llama Factory这个强大的工具,快速切换Alpaca、Vicuna等不同对话模板,让对比实验变得轻松高效。 这类任务通常需要GPU环境支持,目前ZEEKLOG算力平台提供了包含Llama Factory的预置环境,可以快速部署验证。但无论你选择哪种运行环境,Llama Factory的核心功能都能帮助你统一管理各种模板,显著提升研究效率。 为什么需要统一管理对话模板 在微调或测试大语言模型时,提示模板(Prompt Template)的选择会显著影响模型输出。常见的模板如Alpaca、Vicuna各有特点: * Alpaca模板:结构清晰,适合指令跟随任务 * Vicuna模板:对话感更强,适合多轮交互 * Default模板:最基础的提示格式 手动切换这些模板不仅需要修改代码,还可能因为格式错误导致模型表现异常。Llama Fa