llama.cpp加载多模态gguf模型

llama.cpp预编译包还不支持cuda12.6
llama.cpp的编译,也有各种坑
llama.cpp.python的也需要编译
llama.cpp命令行加载多模态模型
llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg 

**模型主gguf文件要和mmporj文件从一个库里下载,否则会有兼容问题,建议从ggml的官方库里下载
Multimodal GGUFs官方库

llama.cpp.python加载多模态模型

看官方文档
要使用LlamaChatHandler类,官方已经写好了不少多模态模型的加载类,比如qwen2.5vl的写法:

from llama_cpp import Llama 

Read more

35道常见的前端vue面试题,零基础入门到精通,收藏这篇就够了

35道常见的前端vue面试题,零基础入门到精通,收藏这篇就够了

来源 | https://segmentfault.com/a/1190000021936876 今天这篇文章给大家分享一些常见的前端vue面试题。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。 对于前端来说,尽管css、html、js是主要的基础知识,但是随着技术的不断发展,出现了很多优秀的mv*框架以及小程序框架。因此,对于前端开发者而言,需要对一些前端框架进行熟练掌握。这篇文章我们一起来聊一聊VUE及全家桶的常见面试问题。 1、请讲述下VUE的MVVM的理解? MVVM 是 Model-View-ViewModel的缩写,即将数据模型与数据表现层通过数据驱动进行分离,从而只需要关系数据模型的开发,而不需要考虑页面的表现,具体说来如下: Model代表数据模型:主要用于定义数据和操作的业务逻辑。 View代表页面展示组件(即dom展现形式):负责将数据模型转化成UI 展现出来。 ViewModel为model和view之间的桥梁:监听模型数据的改变和控制视图行为、处理用户交互。通过双向数据绑定把 View 层和 Model 层连接了起来,而View

lychee-rerank-mm部署教程:纯本地无网依赖,开箱即用图文重排序

lychee-rerank-mm部署教程:纯本地无网依赖,开箱即用图文重排序 1. 为什么你需要这个重排序工具 你有没有遇到过这样的场景:手头有一堆产品图、设计稿或活动照片,想快速找出最匹配某段文案的那几张?比如写好了一条小红书文案“阳光洒在复古咖啡馆的木质吧台上,一杯拿铁冒着热气”,却要一张张翻图库找最贴切的配图;又或者在整理AI生成图时,面对上百张输出,靠肉眼判断哪张最符合“赛博朋克风格+穿银色机甲的女性+雨夜霓虹街道”这种复杂描述,耗时又容易出错。 传统做法要么靠人工反复比对,要么用简单关键词匹配——但图片没有文字索引,文本描述又千变万化。这时候,一个能真正“看懂图+读懂文”的本地化工具就变得特别实在。 lychee-rerank-mm 就是为此而生:它不联网、不传图、不调API,所有计算都在你自己的RTX 4090显卡上完成。输入一句话,上传一堆图,点一下按钮,几秒内就能给你排出名次,每张图都附带0–10分的相关性打分,第一名还自带高亮边框——就像给你的图库装了个“多模态直觉”。 它不是通用大模型套壳,而是专为图文匹配打磨的轻量级重排序引擎:基于Qwen2.5-VL

HTML————更实用于后端宝宝们学习的前端

HTML————更实用于后端宝宝们学习的前端

博主主攻后端,但是毕竟要做网站,我们来学习一点前端的知识,一共有三节,学完就能做一点小小的页面啦; 1.1 HTML基础 什么是HTML呢,他是超文本标记语言,还记得HTTP是啥不,HTTP是超文本传输协议,别忘了哈,超文本就是字面意思,它的能力完全超过了文本,图片,链接,音频都可以放上去,标记语言,就是由标签构成的语言; HTML的所有代码基本都是标签 <h1>我是一级标题</h1> 这个括号<h1> 就是标签,我们学习HTML大部分就是要学习这些标签,注意我们一般用两个标签来表示开始和结束,结束的标签要加上/,开始和结束标签之间就是标签内容,开始标签中可能会带有属性,比如 <h1>我是一级标题</h1> 这就是相当于给h1标签设置了一个唯一标识符, 下面来看看HTML个基本结构,  第一行不用管,第二行HTML是整个html文件的跟标签,

【Java Web学习 | 第1篇】前端 - HTML

【Java Web学习 | 第1篇】前端 - HTML

文章目录 * Java Web概览 * HTML核心知识点总结 * 一、HTML基础概念🥝 * 1.1 HTML文档基本结构 * 1.2 HTML标签特点 * 二、常用HTML标签🧾 * 2.1 文本标签 * 2.2 链接与图像 * 综合示例 * 2.3 列表标签 * 2.4 表格标签 * 2.5 表单标签 * 三、HTML5新增特性🤔 * 3.1 语义化标签 * 3.2 媒体标签 * 3.3 其他新增特性 * 四、学习资源推荐🐦‍🔥 Java Web概览 HTML核心知识点总结 一、HTML基础概念🥝 1.1