Title: nstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
PDF: arxiv.org/pdf/2305.06…
Code: github.com/salesforce/…
前言
文中提出了一个名叫InstructBLIP的视觉元素命令调节架构，它根据预训练的BLIP-2实体模型，对视觉元素命令作出调整。尽管视觉元素预训练已经得到广泛科学研究，但视觉元素命令调节仍比较少探寻。文中搜集了26个公布可利用的数据，并把它转换成命令调节文件格式，然后进行zero-shot广泛评定。除此之外，文中还引进了命令认知的视觉特征提取方法，使实体模型可以获取适宜给出命令的视觉信号特点。结果显示，InstructBLIP实体模型在大多数13个数据上完成了最先进zero-shot特性，优于BLIP-2和更多的Flamingo。在某些中下游每日任务（比如ScienceQA IMG达到90.7%准确度）调整时，达到了最先进特性。除此之外，文中还判定地展现了InstructBLIP相较于并行处理多模型优点。
前言
在人工智能行业，建立一个可以主要适用于任务统一实体模型一直是各种学者努力方向。在NLP领域里，命令调节Instruction-tuned根据在语言模型上调整来处理和遵照了解一些新的命令，获得了非常好实际效果。最近，命令调节又被用以视觉元素每日任务，BLIP-2根据融入冻洁的指令调节语言模型合理地了解视觉信号键入，在图象到文本生成层面展现了基本的指令遵照Instruction-following水平。
但是，与NLP每日任务不一样，因为来源于各行各业的附加视觉效果键入，视觉效果-语言表达每日任务在特性上更加多元化。这也使得构建一个可以推广到普遍的视觉-语言表达任务统一实体模型更具有趣味性。之前的办法要不实行多个任务练习，要不立即运用LLMs最本质的模型泛化能力。但是，多个任务训练方法虽然应用统一的输出文件格式，却无法完全处理每日任务之间的差别。另一方面，主要针对文字命令作出调整的LLMs在NLP任务zero-shot广泛上更高效，但是对于视觉效果-语言表达任务主要表现则不足比较满意。
文中介绍了一个名叫InstructBLIP的视觉元素命令调节架构，该架构通过一个统一的自然语言理解插口，使通用模型可以解决普遍的视觉每日任务。InstructBLIP的复位来源于一个预训练的BLIP-2实体模型，包含图象伺服电机、LLM和Q-Former。在命令调节期内，创作者维持图象伺服电机和LLM不会改变，而仅对Q-Former开展调整。文章中的关键奉献点如下所示：
- 对视觉元素命令调节进行了详细全面的科学研究。将26个数据转化成命令调节文件格式并分为11个每日任务类型。在其中，13个数据用以命令调节，13个数据用以
zero-shot评定。除此之外，也有四个每日任务类型被专业保存用以每日任务级zero-shot评估。有关定性与定量结论验证了InstructBLIP在视觉元素zero-shot广泛层面实效性。 - 提出了一种命令认知的视觉svm算法体制，它也可以根据特定的命令灵便且高效地获取视觉信号特点。命令不但做为生成文本的前提条件被发放给冻洁的LLM，还做为从冻洁的影像伺服电机中获取视觉效果特点的标准被发放给Q-Former。
- 评估和开源系统了一套
InstructBLIP实体模型，采用了2个LLM系列产品：1）FlanT5，从T5调整的伺服电机-视频解码器LLM；2）Vicuna，从LLaMA调整的仅视频解码器LLM。InstructBLIP实体模型在广泛视觉元素每日任务上完成了最先进zero-shot主要表现。除此之外，当作为实体模型复位时，InstructBLIP实体模型还具有最先进调整特性。
方式
InstructBLIP是一个对于视觉元素命令调整框架，致力于处理视觉元素每日任务里的考验，同时提供系统化的科学研究来提升实体模型对末见数据与任务模型泛化能力。如上图所述1展现了InstructBLIP模型架构设计：Q-Former从冻洁的影像伺服电机输出置入中获取具有现实意义的视觉特点，并把这种视觉效果特点做为软提醒导入到冻洁的LLM中，并用语言模型损害模型拟合给予指导练习，以形成回应。
命令调整数据信息搭建
为保证命令调节数据信息的多样化，创作者搜集了普遍可利用的视觉元素数据，并把他们转换成命令调节文件格式。如上图所述2所显示，最后搜集了11个每日任务类型和28个数据，包含图象外挂字幕、图象外挂字幕阅读和理解、视觉效果逻辑推理、图象互动问答、知识驱动的影像互动问答、图象互动问答阅读和理解、图象互动问答形成、短视频互动问答、视觉效果会话互动问答、分类任务和 LLaVA-Instruct-150K 数据等。创作者为每一个每日任务精心策划了10到15种不同的命令模版，做为搭建命令调节数据库的基本。针对本就侧重于形成短回应的云计算平台集，作者在一些相对应的命令模版中加入“简洁明了”、“简约”等词句，从而减少实体模型多重共线性。
练习和评价方法
为了能包含多种多样训练科目，同时也为zero-shot评定保存充足数量末见数据信息，本文这26个数据集划分为13个训练数据集和13个测试数据集。如上图所述2所显示，黄色表示训练数据集，乳白色表明测试数据集。针对验证集以外评定，文中重新定义了两类的信息：
- 在练习环节中不曾曝露给实体模型，但是其每日任务在测试集内发生过
- 彻底未能练习环节中见到的数据工作任务
针对第一种不同的评定，因为测试集和验证集中间的影像遍布不一样，所以处理该关键是不易的；针对第二种种类，文中保存了一些每日任务，包含视觉效果逻辑推理、短视频互动问答、视觉效果对话QA和分类任务。在练习期内，文中混合了全部训练数据集并匀称取样每一个数据的指令模版进行练习。
命令认知和视觉效果svm算法
::: block-1
根据删掉命令认知的视觉svm算法制度和数据信息均衡对策所进行的消溶实验结论。针对内部结构数据评估，测算了四个数据（COCO Caption、OKVQA、A-OKVQA和TextCaps）的平均分数。针对外部数据源集的评定，展现了来自各式各样任务五个数据得到的结果。 :::
已有的零样版图象到文本生成的办法（包含BLIP-2）也是不考虑到命令的，即视觉效果键入与命令不相干，这减少了实体模型在各个每日任务里的协调能力。针对这种情况，InstructBLIP提出了一种命令认知的视觉特征提取方法Q-Former。Q-Former运用BLIP-2实体模型里的Q-Former构造，从固定不动的影像伺服电机输出中获取视觉效果特点。在预训练环节，Q-Former学习培训获取与文字两端对齐的视觉特点。在InstructBLIP中，命令文字不仅被导入到LLM中，也被导入到Q-Former中，获取查看空间向量获取更加符合命令的视觉特点，从而提升实体模型特性。作者在以上2中展现了命令认知的视觉svm算法在外部和外部评估中增添了很明显的性能增加。
数据信息均衡对策
为解决因数据尺寸差别造成实体模型多重共线性小数据、欠拟合大数据集问题，创作者提出了一种依照数据尺寸权重计算取样的办法。从总体上，针对D个数据，每一个数据大小为，练习环节中从数据D中选择一个样品的几率由一个公式换算。创作者还进行了一些手动式权重值调节以提升收敛速度，尤其是减少A-OKVQA（多项选择题）权重，提升OKVQA权重。作者在以上2中展现了数据信息均衡对策针对保持数据集内及数据间泛化能力的提高。
实验结论
::: block-1
在外部数据源集在的zero-shot结论。Visdial、HM和SciQA分别对应Visual Dialog、HatefulMemes和ScienceQA数据。针对ScienceQA，只评定含有图象前后文的结合。文中报告了NoCaps和Flickr30K的CIDEr成绩[41]，iVQA的准确度，HatefulMemes的AUC成绩及其Visual Dialog的Mean Reciprocal Rank（MRR）。
:::
::: block-1
InstructBLIP Vicuna实体模型产生的一些判定实例。这种实例展现了实体模型的多元化水平，包含繁杂的视觉场景理解和逻辑推理、根据知识图像描述、多次视觉效果会话等。
:::
::: block-1
根据BLIP-2 FlanT5XL技术骨干架构的具体指导优化与多个任务锻炼的较为。针对内部结构评定，文中测算全部内部结构数据平均评分。针对外部评估，则测算GQA、TextVQA、VSR、HatefulMemes、IconQA、ScienceQA、iVQA、VizWiz这种数据平均评分。
:::
::: block-1
对中下游数据所进行的BLIP-2和InstructBLIP调整得到的结果以上所显示。与BLIP-2对比，InstructBLIP带来了更加好的权重初始化实体模型，并且在四个数据集中有三个达到最先进特性水准。
:::
结果
文中推荐的InstructBLIP是一个又简单又创新性的面对通用性视觉元素模型命令调节架构。他对于视觉元素具体指导调节进行了详细的科学研究，并展现了InstructBLIP实体模型在广泛不明每日任务上有着最先进特性。判定实例还展现了InstructBLIP在命令遵照Instruction Following等方面的各种各样水平，如繁杂的视觉逻辑推理、知识驱动的图像描述和多轮对话等。除此之外，创作者还展现了InstructBLIP可作为中下游每日任务调整的提高实体模型复位，完成了最先进结论。文中期待InstructBLIP可以促进通用性跨模态人工智能技术以及应用领域新科学研究。