Goku

5个月前发布 835 00

工具介绍:Goku是一个基于流生成的视频生成基础模型,由香港大学和字节跳动研究团队共同开发。Goku 模型主要用于生成高质量的视频内容,尤其在广告和营销场景中表现尤为出色。

收录时间:
2025-02-17

Goku简介

Goku是由香港大学与字节跳动联合研发的多模态视频生成模型,基于校正流 Transformer 架构(Rectified Flow Transformer),专为图像与视频的联合生成优化。该模型于 2025 年 2 月正式发布技术报告,其核心目标是通过低成本、高效率的生成能力,革新数字内容创作流程,尤其在广告营销、电商展示等领域展现出颠覆性潜力。

Goku

功能特点:

1.多模态生成能力:

  • 文本到视频(Text-to-Video):通过自然语言描述直接生成动态视频,支持复杂场景与人物交互。例如,根据“夏日海滩饮品广告”生成包含人物动作和产品特写的完整短片。
  • 图像到视频(Image-to-Video):以单张商品图或场景图为输入,生成动态展示视频。例如,将静态服装图转化为模特试穿效果的连贯镜头。
  • 文本到图像(Text-to-Image):生成高分辨率图像,支持细节控制,如光照、材质等参数调整。

2.技术架构创新:

  • 校正流框架:Goku 采用了校正流(Rectified Flow)Transformer,结合图像-视频联合 VAE(变分自编码器)以及全注意力 Transformer,使得模型能够统一处理图像和视频生成任务。通过优化生成路径的连续性,减少传统扩散模型的迭代步骤,提升生成效率。
  • 多阶段训练策略:通过图文语义对齐预训练、图像-视频联合训练以及针对不同模态的微调,分阶段提升模型能力,初期聚焦基础特征学习,后期强化时序连贯性与细节精度。
  • 大规模数据集支撑:研究人员构建了约 3600 万视频和 1.6 亿图像的大规模数据集,并采用多种数据过滤和增强技术来提高数据质量。

3.成本与性能优势:

  • Goku+ 商业版本:作为视频广告专用基础模型,其生成成本仅为传统拍摄制作的 1/100,且支持个性化定制(如品牌 Logo 植入、多语言配音等)。
  • SOTA 性能:在 MSR-VTT 和 UCF-101 等基准测试中,文本到视频生成任务刷新行业记录,视频连贯性与语义对齐度领先同类模型 20% 以上。

使用方法:

第一步:模型选择与部署。提供三种规模模型:轻量版(移动端适配)、标准版(通用场景)、企业版(支持 4K 分辨率与长视频生成)。

支持云端 API 调用与本地化部署,企业用户可通过字节跳动火山引擎平台接入。

第二步:输入与参数配置。输入格式:文本提示需遵循结构化描述(如“主体-动作-场景-风格”),图像输入支持 PNG/JPG 及透明背景格式。

控制参数:包括视频时长(默认 5 秒,可扩展至 60 秒)、帧率(24/30/60fps)、分辨率(最高 4096×2160)及风格化滤镜(如“写实风”“卡通渲染”)。

第三步:交互式编辑。支持生成后逐帧微调,例如修改局部动作、替换背景元素,或通过文本指令追加特效(如“添加雨滴效果”)。

产品应用:

  1. 电商与广告营销
    • 商品动态展示:仅需一张产品图,即可生成包含虚拟主播讲解和多角度展示的广告视频,适用于淘宝、抖音等平台的商品详情页。
    • 低成本本地化广告:针对不同地区市场,快速生成适配语言与文化背景的广告内容,显著降低跨国营销成本。
  2. 社交媒体内容创作
    • 吃播/教程视频生成:输入食材列表与步骤描述,自动生成烹饪过程视频,支持添加互动字幕与背景音乐。
    • UGC 辅助工具:为创作者提供“文案转视频”功能,将图文内容自动转化为短视频,提升内容产出效率。
  3. 影视与游戏预制作
    • 分镜预览:通过文本快速生成剧情分镜,辅助导演与编剧可视化叙事节奏。
    • NPC 动作库构建:为游戏开发提供批量角色动作生成,减少手动建模工作量。

Goku 的发布标志着 AI 视频生成从“辅助工具”向“生产级应用”的跨越。其低成本特性已吸引多家国际快消品牌进行试点合作,据估算可减少 80% 的广告制作周期。未来,结合实时渲染与 3D 建模技术,Goku 有望进一步拓展至虚拟现实、元宇宙等场景。当前技术局限主要体现为长视频的情节逻辑控制,但团队表示将通过引入强化学习机制持续优化。

  • GitHub:https://github.com/Saiyan-World/goku
  • 项目地址:https://saiyan-world.github.io/goku/
  • 论文:https://arxiv.org/abs/2502.04896

数据评估

Goku浏览人数已经达到835,如你需要查询该站的相关权重信息,可以通过第三方来进行查询,比如爱站、5118数据、chinaz等;更多网站价值评估因素如:该网站的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找该网站的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于Goku特别声明

本站新媒派提供的该工具内容都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由新媒派实际控制,在2025年2月17日 下午12:43收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,新媒派不承担任何责任。

与Goku相关工具

YAYI2

YAYI2

YAYI2(雅意2)是中科闻歌推出的新一代开源大语言模型,支持中文、英语等 10 多种语言。基于 Transformer 架构,参数规模达到 30B。YAYI2 采用 2 万亿 Tokens 的高质量语料进行预训练,并结合人类反馈强化学习,确保模型与人类价值观对齐。其多模态交互功能支持图文互生成、PDF 解析等。YAYI2 广泛应用于媒体宣传、舆情分析、政务治理、金融分析等领域,为企业提供 AI 辅助工具和知识库问答系统。
讯飞星辰MaaS平台

讯飞星辰MaaS平台

科大讯飞面向开发者打造的智能化模型精调服务平台,构建起贯穿 “数据 - 模型 - 服务” 全链路的工程化解决方案。平台提供数据增强处理、模型精调优化、效果量化评估及一键部署的的端到端开发能力;同时兼容主流开源模型生态,支持第三方模型托管。基于自研分布式训练架构与智能算力调度系统,结合 LoRA 等高效参数优化技术,平台实现大模型定制化开发的标准化、工程化,有效降低企业大模型相关业务开发成本与技术门槛,加速推动各行业智能化升级进程。

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...