商量拟人大模型
商量拟人大模型是商汤科技推出的一款AI拟人大模型，它支持个性化角色创建与定制、知识库构建、长对话记忆、多人群聊等功能，可实现行业领先的角色对话、人设及剧情推动能力。该模型广泛应用于情感陪伴、影视/动漫/网文IP角色、明星/网红/艺人AI分身、语言角色扮演游戏等拟人对话场景。
Tarsier简介
Tarsier是由字节跳动研发的大规模视频语言模型家族，旨在生成高质量的视频描述，并具备良好的视频理解能力。Tarsier 采用了简单的模型结构，结合了 CLIP-ViT 编码帧和 LLM 模型来建模时间关系。通过精心设计的两阶段训练策略，Tarsier 展现出了强大的视频描述能力和视频理解能力，在多个公共基准测试中取得了最先进的成果。
Tarsier 模型适用于各种视频理解任务，如视频字幕生成、视频问答和视频定位等，能够处理复杂的视频内容并生成详细准确的描述。
Tarsier：字节跳动推出的大规模视频语言模型家族
Tarsier的主要功能特色
- 高质量视频描述：Tarsier 能够生成详细、准确的视频描述，通过多任务预训练和多粒度指令微调，显著提升了视频描述的能力。
- 视频理解能力：Tarsier 在多个公开基准测试中取得了新的最佳结果，包括视频问答、视频地面、幻觉测试等任务。
- 简单的模型结构：Tarsier 使用 CLIP-ViT 作为视觉编码器，LLM 作为文本解码器，通过 MLP 层连接两者，实现了独立编码帧并输入 LLM 的方法。
- 两阶段训练策略：Tarsier 采用多任务预训练和多粒度指令微调的策略，提高了模型的泛化能力和视频描述的质量。
- 新的视频描述基准：Tarsier 提出了 DREAM-1K 基准，包含 1000 个具有多样复杂性的视频片段，用于评估视频描述模型的质量。
Tarsier模型的最新版本Tarsier2在多个方面进行了显著的改进，特别是在数据量和多样性方面。预训练数据从1100万扩展到4000万视频文本对，增强了模型的学习能力。此外，Tarsier2在监督微调阶段引入了细粒度时间对齐，进一步提高了视频描述的准确性和细节捕捉能力。通过直接偏好优化（DPO）训练，Tarsier2能够生成更符合人类偏好的视频描述，减少生成幻觉的可能性。
在性能评估方面，Tarsier2在DREAM-1K基准测试中表现出色，其F1分数比GPT-4o高出2.8%，比Gemini-1.5-Pro高出5.8%。在15个公共基准测试中，Tarsier2取得了新的最佳结果，涵盖视频问答、视频定位、幻觉测试和问答等功能，展示了其作为强大通用视觉语言模型的多功能性。
论文：https://arxiv.org/abs/2501.07888
Code: https://github.com/bytedance/tarsier
Dataset: https://huggingface.co/datasets/omni-research/DREAM-1K
Demo: https://huggingface.co/spaces/omni-research/Tarsier2-7b
数据评估
关于Tarsier特别声明
本站新媒派提供的该工具内容都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由新媒派实际控制，在2025年2月10日 下午1:22收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，新媒派不承担任何责任。
与Tarsier相关工具
Gen-3 Alpha
Gen-3 Alpha是Runway公司开发的一款先进的AI视频生成模型。它能够根据用户的输入（如文本描述、图像或视频片段）创建具有复杂场景变化、多种电影风格和详细艺术指导的高精细视频。
Mini-Gemini
Mini-Gemini是一个简单而有效的框架，用于增强多模态视觉语言模型（VLMs），由中国香港中文大学和 SmartMore 的研究人员共同推出。Mini-Gemini支持一系列密集和MoE大型语言模型（LLMs），从2B到34B。为了增强视觉token，该框架建议在不增加视觉token数量的情况下，利用额外的视觉编码器进行高分辨率细化。同时，Mini-Gemini还构建了一个高质量的数据集，以促进精确的图像理解和基于推理的生成，从而扩大当前VLM的操作范围。
Aidge
Aidge基于阿里巴巴国际数字商业集团的大语言模型和多模态大模型，结合对全球商业的深度洞察，为客户提供全面的国际电商AI云服务。Aidge 聚焦商业场景，让客户的全球经营效果更好，成本更低。Aidge 作为国际电商领域专业前沿且经验丰富的AI服务提供方，拥有极强的多语言能力、本地化能力和营销设计能力，帮助企业客户降低语言和文化门槛，解决中小企业难以获得设计、营销、服务和人才等问题。
DeepSpeed
DeepSpeed是一个由微软开发的开源深度学习优化库，它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。
FireRedASR
FireRedASR是一款由FireRedTeam开发的开源工业级自动语音识别（ASR）模型，支持普通话、中文方言和英语。它在公开的普通话 ASR 基准测试中取得了新的最优结果，并且在歌词识别方面表现出色。
天壤小白大模型
天壤小白是基于语言大模型的AI应用开放平台，无需代码开发，即可快速、灵活地搭建个性化的AI应用。通过提示词工程、语义搜索、向量数据库等各类AI工具组件，破解幻觉难题，为开发者和企业提供一站式的大模型应用服务。覆盖知识管理、市场销售、客户服务、内容生成、辅助决策、多语言翻译等多个场景。
YAYI2
YAYI2（雅意2）是中科闻歌推出的新一代开源大语言模型，支持中文、英语等 10 多种语言。基于 Transformer 架构，参数规模达到 30B。YAYI2 采用 2 万亿 Tokens 的高质量语料进行预训练，并结合人类反馈强化学习，确保模型与人类价值观对齐。其多模态交互功能支持图文互生成、PDF 解析等。YAYI2 广泛应用于媒体宣传、舆情分析、政务治理、金融分析等领域，为企业提供 AI 辅助工具和知识库问答系统。
InspireMusic
InspireMusic 是由阿里巴巴通义实验室推出的开源音乐生成框架，集成了多项音频领域的前沿研究成果，为开发者和研究者提供全面的音乐创作、风格转换和音效合成解决方案。该框架依托多模态大模型技术，支持通过文本描述或音频输入进行智能化创作，并提供完善的模型调优工具链。
盘古大模型
盘古大模型 3.0 是一个面向行业的AI大模型系列，包含自然语言、视觉、多模态、预测、科学计算大模型等五个基础大模型，可以为用户提供知识问答、文案生成、代码生成，以及多模态大模型的图像生成、图像理解等能力。
FlashVideo
FlashVideo是一个由字节跳动和香港大学联合开发的高效高分辨率视频生成框架，特别适用于文本到视频的生成。通过创新的两阶段框架设计和流匹配技术，FlashVideo 能在短时间内生成 1080p 高清视频，优化视频流畅性，并减少计算成本。
书生通用大模型
书生通用大模型是由上海人工智能实验室与商汤科技联合发布的大型预训练模型。它包括多个基础模型，如书生·多模态、书生·浦语和书生·天际等。这些模型旨在支持科研创新和产业应用，提供一个全链条开源的研发与应用平台。
RAGFlow
RAGFlow是一款开源的检索增强生成（RAG）引擎，专为深入理解文档而设计。它为各类企业和个人提供简洁高效的RAG工作流程，与大语言模型（LLM）相结合，针对各种复杂格式的数据提供可靠的问答及有依据的引用。RAGFlow非常适合需要动态内容生成且依赖外部知识库的场景，如智能客服、文档生成和数据分析等，助力用户高效挖掘大量数据中的有价值信息。
V-Express
V-Express是由南京大学和腾讯AI实验室共同开发的一项技术，旨在通过参考图像、音频和一系列V-Kps图像来生成说话的头像视频。这项技术可以根据不同的信号，如声音、姿势、图像参考等来控制视频内容，确保即使是弱信号也能有效地影响最终生成的视频，使视频生成更加逼真和多样化。
讯飞星辰MaaS平台
科大讯飞面向开发者打造的智能化模型精调服务平台，构建起贯穿 “数据 - 模型 - 服务” 全链路的工程化解决方案。平台提供数据增强处理、模型精调优化、效果量化评估及一键部署的的端到端开发能力；同时兼容主流开源模型生态，支持第三方模型托管。基于自研分布式训练架构与智能算力调度系统，结合 LoRA 等高效参数优化技术，平台实现大模型定制化开发的标准化、工程化，有效降低企业大模型相关业务开发成本与技术门槛，加速推动各行业智能化升级进程。
RMBG-2.0
RMBG-2.0是由BRIA AI 开发的开源图像背景移除模型，通过先进的卷积神经网络（CNN）实现高精度的前景与背景分离。该模型在经过精心挑选的数据集（包括一般图像、电子商务、游戏和广告内容）上进行了训练，专为大规模企业内容创建的商业用例设计，其准确性、效率和多功能性可以媲美领先的 Source Available 型号。
暂无评论...
