Florence-2：推进多种视觉任务的统一表征

Florence-2：推进多种视觉任务的统一表征

模型摘要

该 Hub 存储库包含来自微软的 Florence-2 模型的 HuggingFacetransformers实现。

Florence-2 是一种先进的视觉基础模型，它使用基于提示的方法来处理各种视觉和视觉语言任务。Florence-2 可以解释简单的文本提示来执行字幕、对象检测和分割等任务。它利用我们的 FLD-5B 数据集（包含 1.26 亿张图像中的 54 亿条注释）来掌握多任务学习。该模型的序列到序列架构使其能够在零样本和微调设置中表现出色，证明是一个具有竞争力的视觉基础模型。

资源和技术文档：

• 。

如何开始使用该模型

使用以下代码开始使用该模型。所有模型均使用 float16 进行训练。  import requests import torch from PIL import Image from transformers import AutoProcessor, AutoModelForCausalLM device = "cuda:0" if torch.cuda.is_available() else "cpu"torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32 model = AutoModelForCausalLM.from_pretrained("microsoft/Florence-2-large", torch_dtype=torch_dtype, trust_remote_code=True).to(device) processor = AutoProcessor.from_pretrained("microsoft/Florence-2-large", trust_remote_code=True) prompt = "<OD>" url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"image = Image.open(requests.get(url, stream=True).raw) inputs = processor(text=prompt, images=image, return_tensors="pt").to(device, torch_dtype) generated_ids = model.generate( input_ids=inputs["input_ids"], pixel_values=inputs["pixel_values"], max_new_tokens=1024, num_beams=3, do_sample=False) generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0] parsed_answer = processor.post_process_generation(generated_text, task="<OD>", image_size=(image.width, image.height)) print(parsed_answer)

任务

该模型能够通过改变提示来执行不同的任务。

首先，让我们定义一个函数来运行提示。

点击展开  import requests import torch from PIL import Image from transformers import AutoProcessor, AutoModelForCausalLM device = "cuda:0" if torch.cuda.is_available() else "cpu"torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32 model = AutoModelForCausalLM.from_pretrained("microsoft/Florence-2-large", torch_dtype=torch_dtype, trust_remote_code=True).to(device) processor = AutoProcessor.from_pretrained("microsoft/Florence-2-large", trust_remote_code=True) url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"image = Image.open(requests.get(url, stream=True).raw) def run_example(task_prompt, text_input=None): if text_input is None: prompt = task_prompt else: prompt = task_prompt + text_input inputs = processor(text=prompt, images=image, return_tensors="pt").to(device, torch_dtype) generated_ids = model.generate( input_ids=inputs["input_ids"], pixel_values=inputs["pixel_values"], max_new_tokens=1024, num_beams=3    ) generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0] parsed_answer = processor.post_process_generation(generated_text, task=task_prompt, image_size=(image.width, image.height)) print(parsed_answer)

以下是可以执行的任务Florence-2：

点击展开

标题  prompt = "<CAPTION>"run_example(prompt)

详细标题  prompt = "<DETAILED_CAPTION>"run_example(prompt)

更详细的说明  prompt = "<MORE_DETAILED_CAPTION>"run_example(prompt)

字幕到短语基础

标题到短语基础任务需要额外的文本输入，即标题。

字幕到短语基础结果格式：{'<CAPTION_TO_PHRASE_GROUNDING>': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['', '', ...]}}  task_prompt = "<CAPTION_TO_PHRASE_GROUNDING>"results = run_example(task_prompt, text_input="A green car parked in front of a yellow building.")

物体检测

OD 结果格式：{'<OD>': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['label1', 'label2', ...]} }  prompt = "<OD>"run_example(prompt)

密集区域标题

密集区域标题结果格式：{'<DENSE_REGION_CAPTION>' : {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['label1', 'label2', ...]}}  prompt = "<DENSE_REGION_CAPTION>"run_example(prompt)

区域提案

密集区域标题结果格式：{'<REGION_PROPOSAL>': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['', '', ...]}}  prompt = "<REGION_PROPOSAL>"run_example(prompt)

光学字符识别 (OCR)  prompt = "<OCR>"run_example(prompt)

带区域的 OCR

带区域输出格式的 OCR：{'<OCR_WITH_REGION>': {'quad_boxes': [[x1, y1, x2, y2, x3, y3, x4, y4], ...], 'labels': ['text1', ...]}}  prompt = "<OCR_WITH_REGION>"run_example(prompt)

更多详细示例，请参阅

基准

Florence-2 零样本性能

下表展示了通用视觉基础模型在图像字幕和物体检测评估任务上的零样本性能。这些模型在训练阶段没有接触过评估任务的训练数据。

下表继续与其他视觉语言评估任务的表现进行比较。

佛罗伦萨-2号微调性能

我们通过一系列下游任务对 Florence-2 模型进行微调，得到了两个通用模型Florence-2-base-ft和Florence-2-large-ft，可以执行广泛的下游任务。

下表比较了专家模型和通才模型在各种字幕和视觉问答 (VQA) 任务上的表现。专家模型针对每项任务进行了专门的微调，而通才模型则以与任务无关的方式在所有任务上进行了微调。符号“▲”表示使用外部 OCR 作为输入。

BibTex 和引文信息  @article{xiao2023florence, title={Florence-2: Advancing a unified representation for a variety of vision tasks}, author={Xiao, Bin and Wu, Haiping and Xu, Weijian and Dai, Xiyang and Hu, Houdong and Lu, Yumao and Zeng, Michael and Liu, Ce and Yuan, Lu}, journal={arXiv preprint arXiv:2311.06242}, year={2023} }