视频问答模型

Tarsier是由字节跳动研发的大规模视频语言模型家族，旨在生成高质量的视频描述，并具备良好的视频理解能力。Tarsier 采用了简单的模型结构，结合了 CLIP-ViT 编码帧和 LLM 模型来建模时间关系。通过精心设计的两阶段训练策略，Tarsier 展现出了强大的视频描述能力和视频理解能力，在多个公共基准测试中取得了最先进的成果。

Video-LLaVA是由北京大学ChatLaw课题组开发的一款视频问答模型。它基于Transformer架构，能够处理视频和问题，通过自注意力机制来捕捉二者之间的关联信息，并可以回答有关其内容的问题，它准确地描述了这些媒体中的视觉效果。这个模型通过在大量视频数据上进行预训练，使得它能够理解丰富的视频特征和问题语义，进而在视频问答任务上取得了先进的性能，该技术还可用于标记图像和视频。