Cherry Studio
Cherry Studio 是一个支持多模型服务的AI桌面客户端，支持 Windows、macOS 和 Linux，未来还将支持移动端。用户可以通过Cherry Studio无缝集成多种大型语言模型 (LLM)，包括 OpenAI、Anthropic 和 Gemini 等，甚至本地部署的模型，确保数据隐私和安全。
Magi简介
Magi 的模型是一个可以自动将漫画页转录成文字并生成剧本。Magi 模型是牛津大学工程科学系的视觉几何组开发的，该模型通过识别漫画页面上的面板、文字块和角色，实现了全自动的剧本生成功能。其主要功能包括面板检测，识别漫画页面上的各个面板，以及文本块检测，识别面板中的文本块，通常包含对话或叙述性文本。此外，模型还能够检测页面上的角色形象，并根据其身份进行聚类，以区分不同的角色。
Magi 模型还可以将文本与说话者进行关联，确定哪些文本是由页面上的哪个角色说出的，保证剧本的准确性。同时，模型还会按照漫画的阅读顺序对文本块进行排序，确保剧本的叙述逻辑与原漫画一致，让读者通过阅读文本完整地体验漫画故事。
除了 Magi 模型本身，项目还包含一个名为 Mangadex-1.5M 的数据集，其中包含约150万漫画页面，涵盖多种流派和艺术风格。这个数据集的设计旨在为 Magi 模型的训练提供支持，解决漫画页面的自动理解和剧本生成问题，包括面板检测、文本块和角色检测、角色身份聚类以及文本与说话者之间的关联。
通过这一项目，研究人员希望推动漫画领域的自动化处理和理解技术的发展。
论文：https://arxiv.org/abs/2401.10224
Magi GitHub源码：https://github.com/ragavsachdeva/magi
项目入口：https://top.aibase.com/tool/magi
Magi：自动将漫画页转录成文字并生成剧本
数据评估
关于Magi特别声明
本站新媒派提供的该工具内容都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由新媒派实际控制，在2024年3月12日 下午2:36收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，新媒派不承担任何责任。
与Magi相关工具
Mini-Gemini
Mini-Gemini是一个简单而有效的框架，用于增强多模态视觉语言模型（VLMs），由中国香港中文大学和 SmartMore 的研究人员共同推出。Mini-Gemini支持一系列密集和MoE大型语言模型（LLMs），从2B到34B。为了增强视觉token，该框架建议在不增加视觉token数量的情况下，利用额外的视觉编码器进行高分辨率细化。同时，Mini-Gemini还构建了一个高质量的数据集，以促进精确的图像理解和基于推理的生成，从而扩大当前VLM的操作范围。
Yi大模型
Yi大模型是由李开复博士领导的AI公司“零一万物”发布的一款开源的中英双语预训练大模型。这个模型在多个性能指标上取得了国际最佳性能认可，被称为“全球最强开源模型”。Yi-34B模型特别之处在于它拥有全球最长的200K上下文窗口，能够处理40万汉字的超长文本输入，这在语言模型中是非常重要的，因为它对于理解和生成与特定上下文相关的文本至关重要。
Claude
Claude是Anthropic公司发布的一款大型语言模型（LLM）。能够检测和回避潜在的陷阱，如逻辑错误、不恰当的内容、重复性和无聊等。具有高级推理、视觉分析、代码生成、多语言处理、多模态等能力，可以生成文本、翻译语言、编写不同类型的创意内容，并以信息丰富的方式回答问题。
Segment Anything
Segment Anything是一个基于深度学习的图像分割模型，它可以根据用户的输入提示（如点或框）生成高质量的物体遮罩。它可以用于为图像中的任何物体生成遮罩，无论是常见的物体（如人、车、猫等），还是罕见的物体（如火箭、恐龙、魔法棒等）。
快手可图大模型KOLORS
可图大模型KOLORS是一款快手自研的文生图大模型，支持文生图和图生图两类功能，已上线20余种AI图像玩法。
Aiuni AI
Aiuni AI 是一款基于 Unique3D 开源技术的在线 AI 图片转 3D 模型生成建模工具，它能够在 30 秒内将单张图片转换为高质量的 3D 模型。用户通过简单的图片上传和点击生成，用户即可获得 360 度无死角的 3D 模型，确保每个角度都具有一致性和高质量的细节。
MuseTalk
MuseTalk是由腾讯推出的一个实时的高质量音频驱动唇形同步模型，能够根据输入的音频信号自动调整数字人物的面部图像，使其唇形与音频内容高度同步，支持多种语言，并实现每秒30帧以上的实时处理速度。这意味着观众可以看到数字人物的口型与声音完美匹配的效果。
阿里云百炼
阿里云百炼是一个基于通义系列大模型和开源大模型的一站式大模型服务平台。旨在帮助企业和开发者快速构建、部署和应用大规模人工智能模型。它支持开箱即用的应用调用、大模型训练微调以及一站式在线灵活部署，能够满足多种AI应用场景的需求。
Step-Video-T2V
Step-Video-T2V 是由阶跃星辰与吉利汽车集团 联合开源的一款先进文本生成视频（Text-to-Video）模型。这款模型在 2025 年 2 月 18 日正式发布，具备强大的多模态生成能力，支持中文和英文输入，适用于广告、影视制作、教育等多个场景。
商量拟人大模型
商量拟人大模型是商汤科技推出的一款AI拟人大模型，它支持个性化角色创建与定制、知识库构建、长对话记忆、多人群聊等功能，可实现行业领先的角色对话、人设及剧情推动能力。该模型广泛应用于情感陪伴、影视/动漫/网文IP角色、明星/网红/艺人AI分身、语言角色扮演游戏等拟人对话场景。
星流图像大模型
星流图像大模型由 LiblibAI 发布的一款自研图像大模型，名为 Star-3 Alpha。该模型基于业界领先的 F.1 基础算法架构训练而成，辅以全球最大的 LORA 增强模型库及不断进化的 AI 图像控制能力。在图像精准度、色彩表现力、美学捕捉的细腻表达等方面实现了显著的飞跃，成为新的业界标杆。
CineMaster
CineMaster是一个3D感知和可控的文本到视频生成框架，旨在帮助用户创建高质量的电影视频。该框架通过两个阶段的工作流程，赋予用户专业电影导演般的控制力，允许他们在 3D 空间中精确地放置场景中的对象，并灵活地操控对象和摄像机。
Idea-2-3D
Idea-2-3D 是一个3D 内容生成框架，能够从多模态输入（如文本、图像和 3D 模型）中生成高质量的 3D 模型。该框架由三个基于大型多模态模型（LMM）的智能代理组成，分别负责生成提示、选择模型和反馈反映。通过这些代理的协作和批评循环，Idea-2-3D 能够自动生成与输入高度一致的 3D 模型。
Aidge
Aidge基于阿里巴巴国际数字商业集团的大语言模型和多模态大模型，结合对全球商业的深度洞察，为客户提供全面的国际电商AI云服务。Aidge 聚焦商业场景，让客户的全球经营效果更好，成本更低。Aidge 作为国际电商领域专业前沿且经验丰富的AI服务提供方，拥有极强的多语言能力、本地化能力和营销设计能力，帮助企业客户降低语言和文化门槛，解决中小企业难以获得设计、营销、服务和人才等问题。
CodeGemma
CodeGemma是一个由Google基于Gemma模型开发的开源代码模型系列。它专为代码生成和理解而设计，提供了强大的代码自动补全和生成功能。CodeGemma支持多种编程语言，适用于软件开发、编程教育和跨语言开发项目。它的主要功能包括智能代码补全、代码生成、代码理解、多语言支持、代码优化建议以及错误检测与修正，旨在提高开发者的编码效率和软件质量。
暂无评论...
