DeepSpeed
DeepSpeed是一个由微软开发的开源深度学习优化库，它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。
Magi简介
Magi 的模型是一个可以自动将漫画页转录成文字并生成剧本。Magi 模型是牛津大学工程科学系的视觉几何组开发的，该模型通过识别漫画页面上的面板、文字块和角色，实现了全自动的剧本生成功能。其主要功能包括面板检测，识别漫画页面上的各个面板，以及文本块检测，识别面板中的文本块，通常包含对话或叙述性文本。此外，模型还能够检测页面上的角色形象，并根据其身份进行聚类，以区分不同的角色。
Magi 模型还可以将文本与说话者进行关联，确定哪些文本是由页面上的哪个角色说出的，保证剧本的准确性。同时，模型还会按照漫画的阅读顺序对文本块进行排序，确保剧本的叙述逻辑与原漫画一致，让读者通过阅读文本完整地体验漫画故事。
除了 Magi 模型本身，项目还包含一个名为 Mangadex-1.5M 的数据集，其中包含约150万漫画页面，涵盖多种流派和艺术风格。这个数据集的设计旨在为 Magi 模型的训练提供支持，解决漫画页面的自动理解和剧本生成问题，包括面板检测、文本块和角色检测、角色身份聚类以及文本与说话者之间的关联。
通过这一项目，研究人员希望推动漫画领域的自动化处理和理解技术的发展。
论文：https://arxiv.org/abs/2401.10224
Magi GitHub源码：https://github.com/ragavsachdeva/magi
项目入口：https://top.aibase.com/tool/magi
Magi：自动将漫画页转录成文字并生成剧本
数据评估
关于Magi特别声明
本站新媒派提供的该工具内容都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由新媒派实际控制，在2024年3月12日 下午2:36收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，新媒派不承担任何责任。
与Magi相关工具
星火大模型
讯飞星火大模型是由科大讯飞推出的新一代认知智能大模型，可基于自然文本、语音的方式提供多场景文本生成、语言理解、知识问答、逻辑推理、数学解答、代码生成和多模态7大能力。
腾讯混元3D
腾讯混元3D，全称为 Hunyuan3D-1.0，是腾讯推出的首个同时支持文生和图生的3D开源模型，专门解决现有3D生成模型在生成速度和泛化能力方面的不足。该模型采用了基于Diffusion 技术的架构，能够同时支持文本生成和图像生成3D资产。
Evidently Al
Evidently Al 是一个开源的机器学习模型监测和测试平台，它可以帮助您分析和改进您的模型性能。它可以让您轻松地创建交互式的可视化报告，展示您的模型在验证和预测期间的表现，以及数据漂移的情况。
FlashVideo
FlashVideo是一个由字节跳动和香港大学联合开发的高效高分辨率视频生成框架，特别适用于文本到视频的生成。通过创新的两阶段框架设计和流匹配技术，FlashVideo 能在短时间内生成 1080p 高清视频，优化视频流畅性，并减少计算成本。
元象XChat
元象XChat是一款智能聊天助手，它基于元象通用大模型，可以与用户进行自然、流畅、有趣的对话。元象XChat不仅可以提供信息、解答问题，还可以创作内容，如诗歌、故事、代码、歌曲等。元象XChat的目标是成为用户的AI伙伴，帮助用户探索AI与3D的无限可能。
Etna模型
Etna大模型是七火山科技推出的一个文生视频的AIGC模型，它能够根据简短的文本描述生成相应的视频内容。七火山科技发布的Etna文生视频模型支持生成视频时长达到8~15秒，每秒可达60帧，分辨率最高可达4K（3840*2160），画面细腻逼真。
星流图像大模型
星流图像大模型由 LiblibAI 发布的一款自研图像大模型，名为 Star-3 Alpha。该模型基于业界领先的 F.1 基础算法架构训练而成，辅以全球最大的 LORA 增强模型库及不断进化的 AI 图像控制能力。在图像精准度、色彩表现力、美学捕捉的细腻表达等方面实现了显著的飞跃，成为新的业界标杆。
RAGFlow
RAGFlow是一款开源的检索增强生成（RAG）引擎，专为深入理解文档而设计。它为各类企业和个人提供简洁高效的RAG工作流程，与大语言模型（LLM）相结合，针对各种复杂格式的数据提供可靠的问答及有依据的引用。RAGFlow非常适合需要动态内容生成且依赖外部知识库的场景，如智能客服、文档生成和数据分析等，助力用户高效挖掘大量数据中的有价值信息。
Imagen 3
Imagen 3是Google DeepMind开发的最新文生图大模型。它能够根据文本提示生成高质量、高分辨率的图像，具有更好的细节和丰富的光照效果。这个模型支持多种视觉风格，从照片般逼真到油画质感，甚至黏土动画场景。Imagen 3还改进了对自然语言提示的理解，简化了生成所需图像的过程，并采用了最新的安全和责任技术，包括隐私保护和内容安全。
FunAudioLLM
FunAudioLLM 是由阿里巴巴通义团队开发的旨在增强人类与大型语言模型（LLMs）之间的自然语音交互的框架。其核心包括两个创新模型：SenseVoice 和 CosyVoice。SenseVoice 提供高精度的多语言语音识别、情绪识别和音频事件检测，支持超过 50 种语言，并具有极低的延迟。CosyVoice 则专注于自然语音生成，支持多语言、音色和情绪控制，能够进行零样本语音生成、跨语言语音克隆和指令遵循。
沃研Turbo大模型
沃研Turbo是由沃恩智慧公司专为大学生打造的科研大模型。它集成了多项科研辅助功能，包括期刊推荐、文献摘要、论文精读、翻译润色、创新点评估、个性化论文推荐和AI降重。通过多模态AIGC技术，沃研Turbo能够快速响应科研需求，提升科研效率。用户只需在网页上上传论文、文本或链接，即可享受便捷的科研辅助服务。沃研Turbo致力于简化科研过程，帮助大学生在学术道路上取得更大成就。
Cherry Studio
Cherry Studio 是一个支持多模型服务的AI桌面客户端，支持 Windows、macOS 和 Linux，未来还将支持移动端。用户可以通过Cherry Studio无缝集成多种大型语言模型 (LLM)，包括 OpenAI、Anthropic 和 Gemini 等，甚至本地部署的模型，确保数据隐私和安全。
WiseDiag-Z1
WiseDiag-Z1是由杭州智诊科技推出的全科医学通用大语言模型，专为医疗领域设计，具有730亿参数和强大的医学知识库。它在知名的医学大模型主流榜单中名列前茅，适用于大多数复杂场景的健康咨询。
Mistral AI
Mistral AI 是一家来自法国的人工智能服务商，专注于大型语言模型和生成式人工智能的构建、培训和应用。Mistral AI 的目标是与 OpenAI 和 谷歌 竞争，为企业开发生成式人工智能基础设施。
MagicVideo-V2
MagicVideo-V2是字节跳动公司团队开发的一款AI视频生成模型和框架。它通过集成文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块到一个端到端的视频生成流程中，可以生成高保真和美观的视频，并实现高分辨率视觉质量与流畅运动的一致性。
暂无评论...
