YAYI2
YAYI2（雅意2）是中科闻歌推出的新一代开源大语言模型，支持中文、英语等 10 多种语言。基于 Transformer 架构，参数规模达到 30B。YAYI2 采用 2 万亿 Tokens 的高质量语料进行预训练，并结合人类反馈强化学习，确保模型与人类价值观对齐。其多模态交互功能支持图文互生成、PDF 解析等。YAYI2 广泛应用于媒体宣传、舆情分析、政务治理、金融分析等领域，为企业提供 AI 辅助工具和知识库问答系统。
Magi简介
Magi 的模型是一个可以自动将漫画页转录成文字并生成剧本。Magi 模型是牛津大学工程科学系的视觉几何组开发的，该模型通过识别漫画页面上的面板、文字块和角色，实现了全自动的剧本生成功能。其主要功能包括面板检测，识别漫画页面上的各个面板，以及文本块检测，识别面板中的文本块，通常包含对话或叙述性文本。此外，模型还能够检测页面上的角色形象，并根据其身份进行聚类，以区分不同的角色。
Magi 模型还可以将文本与说话者进行关联，确定哪些文本是由页面上的哪个角色说出的，保证剧本的准确性。同时，模型还会按照漫画的阅读顺序对文本块进行排序，确保剧本的叙述逻辑与原漫画一致，让读者通过阅读文本完整地体验漫画故事。
除了 Magi 模型本身，项目还包含一个名为 Mangadex-1.5M 的数据集，其中包含约150万漫画页面，涵盖多种流派和艺术风格。这个数据集的设计旨在为 Magi 模型的训练提供支持，解决漫画页面的自动理解和剧本生成问题，包括面板检测、文本块和角色检测、角色身份聚类以及文本与说话者之间的关联。
通过这一项目，研究人员希望推动漫画领域的自动化处理和理解技术的发展。
论文：https://arxiv.org/abs/2401.10224
Magi GitHub源码：https://github.com/ragavsachdeva/magi
项目入口：https://top.aibase.com/tool/magi
Magi：自动将漫画页转录成文字并生成剧本
数据评估
关于Magi特别声明
本站新媒派提供的该工具内容都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由新媒派实际控制，在2024年3月12日 下午2:36收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，新媒派不承担任何责任。
与Magi相关工具
CogVideo
CogVideo是目前最大的通用领域文本到视频生成预训练模型，含94亿参数。CogVideo将预训练文本到图像生成模型（CogView2）有效地利用到文本到视频生成模型，并使用了多帧率分层训练策略。
GPT-4
GPT-4是OpenAI开发的最新一代大型语言模型。它能够接受文本和图像输入，生成类似人类的文本输出。它还能处理长达2.5万字的内容，是ChatGPT的8倍以上，使其在生成文本、延伸对话或分析文件方面更加强大。GPT-4还具备分析图像的能力，能够识别图片中的元素并生成相关的文本。
悟道大模型
悟道大模型是智源研究院打造的人工智能模型系统，不仅具备强大的语言理解和生成能力，还能进行逻辑推理、代码分析、图像生成等多种任务，支持多种类型的文本内容生成，如小说、歌词、诗歌、对联等。
言犀
言犀是京东自营智能人机交互平台，助力企业服务数智化转型。以AI技术驱动，从文字、语音到多模态交互，从对话智能到情感智能，聚焦体验、效率与转化，旨在打造新一代智能人机交互平台，面向不同行业和客户场景助力企业服务和营销实现数智化转型升级。
Gemini 2.5 Flash Image
Gemini 2.5 Flash Image是Google最新一代AI图像生成与编辑模型，支持多图融合、角色一致性、自然语言精准编辑、视觉模板适配及基于世界知识的创作。延续低延迟与高性价比优势，生成画质更清晰细腻，适用于电商、品牌营销、教育、游戏等多场景，并为所有生成图片嵌入 SynthID 数字水印，确保合规可追溯。
NineF AI
NineF AI 是一站式免费主流 AI 大模型集成平台，集成了 GPT、Claude、Llama 等全球顶尖 AI 模型，提供多角度智能解答，助您提升工作效率和决策准确性。界面简洁直观，支持图片和文档上传，满足各类创作和研究需求，是激发创新灵感的理想人工智能助手。
星流图像大模型
星流图像大模型由 LiblibAI 发布的一款自研图像大模型，名为 Star-3 Alpha。该模型基于业界领先的 F.1 基础算法架构训练而成，辅以全球最大的 LORA 增强模型库及不断进化的 AI 图像控制能力。在图像精准度、色彩表现力、美学捕捉的细腻表达等方面实现了显著的飞跃，成为新的业界标杆。
星火大模型
讯飞星火大模型是由科大讯飞推出的新一代认知智能大模型，可基于自然文本、语音的方式提供多场景文本生成、语言理解、知识问答、逻辑推理、数学解答、代码生成和多模态7大能力。
HunyuanVideo-Foley
HunyuanVideo‑Foley是腾讯混元团队开源的多模态视频拟音生成模型，可根据视频画面与文字描述自动生成高保真、精准同步的音效。采用多模态扩散变换器与表征对齐（REPA）技术，结合 Synchformer 时间对齐模块，实现音画逐帧匹配。支持短视频、影视后期、广告创意、游戏开发等多场景应用，生成媲美录音室质量的 48kHz 专业音效，让创作者高效完成沉浸式视听内容制作。
Hibiki
Hibiki是一个Kyutai Labs开发的一个用于流式语音翻译（也称为同步翻译）的模型。与离线翻译不同，离线翻译需要等待源语句结束后才开始翻译，而 Hibiki 能够实时积累足够的上下文，以逐块生成正确的翻译。用户在讲话时，Hibiki 会在目标语言中生成自然的语音，并提供文本翻译。
WeKnora
WeKnora（维娜拉）是腾讯开源的 基于大语言模型（LLM）的文档理解与语义检索框架，采用 RAG（检索增强生成）机制，将精准召回的文档片段与大模型推理结合，输出高质量、上下文感知的回答。
StereoCrafter
StereoCrafter是腾讯AI实验室开发的一款开源框架，能够将普通的 2D 视频转换为沉浸式的 3D 视频。通过深度估计和立体视频修复技术，StereoCrafter 提供高质量的 3D 视频生成，支持多种视频源，包括电影、视频博客、3D 动画和 AI 生成内容。
VideoCrafter2
VideoCrafter2是腾讯推出的一个先进的视频生成模型，它借助深度学习技术，致力于提高视频的视觉质量、动态效果以及概念组合，能够根据用户提供的文本描述生成高质量、流畅的视频作品。
文心大模型
百度文心,产业级知识增强大模型,包含基础通用大模型及面向重点领域和重点任务的大模型,同时有丰富的工具与平台支撑高效便捷的应用开发,学习效率高,可解释性好,大幅降低AI开发与应用门槛.
百度智能云客悦
百度智能云客悦是百度推出的智能客服平台。其旗下的智能外呼平台是一款集合NLP（自然语言处理）、ASR（自动语音识别）、TTS（语音合成）等人工智能技术，提供公有云服务并支持同时面向多名用户，自动发起外呼通话的智能化产品。
暂无评论...
