AI工具AI图像处理

IC-Light

IC-Light是一款用于操纵图像照明效果的开源项目 ,它的全称是'Imposing Consistent Light'。这个工具可以通过文本和背景图对前景内容进行照明控制,使前景主体与背景环境光照一致...

标签:
土司3/个即梦AI

IC-Light简介:

IC-Light是一款用于操纵图像照明效果的开源项目 ,它的全称是”Imposing Consistent Light”,意为”营造一致的光线”。这个工具可以通过文本和背景图对前景内容进行照明控制,使前景主体与背景环境光照一致,从而让二者融为一体。IC-Light能够对色调氛围和光照方向进行控制,例如,如果提示词写了“窗外的阳光”,那么处理后的图像中人物身上就会有明显的光影,整体色调也会变成温暖的橘色;如果提示词写的是霓虹灯光,则画面会变成暗调的红蓝光。光照方向可以通过Lighting Preference选项来控制,支持左侧光、右侧光、底部光和顶部光。

IC-Light

IC-Light目前支持在线体验,也有相关的插件可以安装使用,适用于不同的AI创作平台,如Stable Diffusion和ComfyUI。这个工具对于需要在图像中实现特定光照效果的设计师和艺术家来说非常有用,可以帮助他们更好地控制图像的光线和氛围。

IC-Light

IC-Light的主要功能特点

  1. 文本条件重照明模型:用户可以输入文本提示词,如“左侧光线”或“日光”,模型将根据这些提示词和初始潜变量生成具有特定光照方向和特征的图像。
  2. 背景条件模型:结合背景提示信息,可以对前景物体进行不同风格的光照变化,无需复杂的提示词。
  3. 一致的照明效果:利用HDR(高动态范围)图像中光线传播的独立性,使不同光源的混合效果与混合光源产生的效果一致。这是通过在模型训练期间引入MLP(多层感知器)来实现的,从而使模型能够产生具有高度一致性的重照明效果。
  4. 光照方向控制:IC-Light支持通过Lighting Preference选项来控制光照方向,支持左侧光、右侧光、底部光和顶部光。
  5. 在线体验和插件支持:IC-Light提供在线Demo体验,同时也有适用于不同AI创作平台的插件,如Stable Diffusion和ComfyUI。

技术原理

IC-Light的技术原理主要基于以下几个方面:

  1. 高动态范围(HDR)空间:在HDR空间中,光照具有独立性,这意味着不同光源的混合效果与混合光源直接照射的效果是一致的。这种属性允许IC-Light在不改变图像本身结构的情况下,实现前景和背景的自然融合。
  2. 多层感知器(MLPs):IC-Light通过在潜在空间中使用MLPs来强加光照的一致性。这使得模型能够产生高度一致的重新光照效果,甚至可以将不同的重新光照合并为法线贴图。
  3. 文本条件重照明模型:该模型接受文本提示词和前景图像作为输入,根据这些提示词生成具有特定光照方向和特征的图像。
  4. 背景条件模型:结合背景提示信息,可以对前景物体进行不同风格的光照变化,无需复杂的提示词。
  5. 光照方向控制:用户可以通过Lighting Preference选项来控制光照方向,例如左侧光、右侧光、底部光和顶部光。

这些技术原理结合起来,使IC-Light成为一个强大的工具,它可以在保持图像结构不变的同时,通过简单的文本描述或背景条件,对图像的光照进行精确调整,创造出各种光影效果。

IC-Light的使用方法

一、 在线体验:https://huggingface.co/spaces/lllyasviel/IC-Light

Huggingface 已经有了 IC-Light 的在线使用 Demo,可以直接体验其光照控制功能。使用方式也非常简单,上传一张人物图像,用文本描述新的背景内容和色调氛围,然后在 Lighting Preference 中设置光照的方向,最后点击 Relight 生成就可以了。

IC-Light

二、ComfyUI

IC-Light 原生插件: https://github.com/huagetai/ComfyUI-Gaffer

模型下载: https://huggingface.co/lllyasviel/ic-light/tree/main

ComfyUI 目前已经有多个实现 IC-Light 的插件,此处我使用的是原生的插件 ComfyUI-Gaffer,我们可以通过 git clone 或者 comfyui manager 安装。

IC-Light

插件安装成功后,需要下载 3 种 IC-Light 模型 (文末有资源包),安装到 ComfyUI/models/iclight 文件夹中,三种模型目前只适用于 SD 1.5 模型,作用分别为:

  1. iclight_sd15_fc.safetensors:默认的重照模式,以文本和前景为条件。您可以使用初始潜影来影响重照效果。在 FG 工作流程中使用它
  2. iclight_sd15_fcon.safetensors: 与 “iclight_sd15_fc.safetensors ”相同,但使用偏移噪声进行训练。在 FG 工作流程中使用它
  3. iclight_sd15_fbc.safetensors: 以文本、前景和背景为条件的重新照明模型。在 BG 工作流程中使用它
IC-Light

以上步骤完成后,重启 ComfyUI,然后从 ComfyUI Gaffer 插件根目录的 example 文件夹中导入官方给的 6 个工作流文件,然后就可以正常使用了。其中 IC-Light 节点的相关参数和用法在 ComfyUI Gaffer 的 Github 主页中有详细介绍,使用前可以先仔细阅读一下。6 个工作流的作用分别是:

1、workflow-gaffer-iclight-fc-text:文本生成背景,修改给定前景的光照,使其融为一体。

IC-Light

2、workflow-gaffer-iclight-fc:文本生成背景+手动设置 8 种光照方向,修改给定前景的光照,使其融为一体。

IC-Light3、workflow-gaffer-iclight-fbc:上传给定背景,修改给定前景的光照,使其融为一体。

IC-Light

4、workflow-gaffer-iclight-fc-normal:批量生成不同的光照环境。

IC-Light

5、workflow-gaffer-iclight-fc-animated:生成动态照明动画

IC-Light

6、workflow-gaffer-iclight-all:上传背景+设定光照方向+批量生成功能合集

IC-Light

三、SD WebUI Forge

插件链接: https://github.com/huchenlei/sd-forge-ic-light

模型下载: https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

除了 ComfyUI,lllyasviel 自研的 SD WebUI Forge 也已经有了 IC-Light 的插件,可以在 「extension」中通过网址安装。然后下载 clight_sd15_fc_unet_ldm(用于前景)和 iclight_sd15_fbc_unet_ldm(用于背景)两个模型,安装到根目录的 stable-diffusion-webui-forge/models/unet(没有 unet 文件夹手动创建一个)。

IC-Light

SD WebUI Forge 中也支持从文本生成背景、控制照明方向和上传背景图对给定前景造成影响。需要注意的是:

  1. 如果是自己上传背景图,需要将照明模型又 FC 转为 FBC;
  2. CFG 数值要调低,一般为2;
  3. 控制光照方向时,插件为自动在图生图版块生成灰度图,此处的 CFG 同样要调整为2,重绘幅度要调高为1。
IC-Light

打光效果演示

1、美丽的女人,精致的面容,霓虹灯,王家卫,温暖。照明偏好:左侧

IC-Light

2、提示:美丽的女人,精致的面容,阳光,户外,温暖的氛围。照明偏好:右侧

IC-Light

3、提示:美丽的女人,精致的面容,窗外的阳光。照明偏好:右侧

IC-Light

4、提示:美丽的女人,精致的面容,窗外的阴影。照明偏好:左侧

IC-Light

5、提示:佛像,细致的面部表情,科幻风格的RGB发光效果,赛博朋克风格。照明偏好:左侧

IC-Light

IC-Light官网打不开的几种可能原因及解决方案

如果你经常无法打开"IC-Light官方网站",可能有以下三种原因。这里有一些解决方案:

一、软件屏蔽:一些软件如微信或QQ可能默认屏蔽一些站点。请使用手机浏览器打开该网址,而不是微信/QQ的内置浏览器。

二、浏览器问题:如果你的浏览器提示该网站违规,这并不代表网站真的违规。可能是由于某些浏览器厂商的屏蔽策略。建议使用原生浏览器,比如苹果设备的Safari浏览器,或者微软的Edge,并尝试一些独立开发的浏览器,如Alook浏览器、X浏览器、VIA浏览器等。

三、网络问题:如果你的网络连接不稳定,或者你使用的网络运营商并未被网站优化支持,可能会遇到访问困难。此时,可以尝试使用网络加速器,将网络切换至更稳定的运营商。另外,部分网站可能需要科学上网才能访问,如Google等(仅在你需要搜集学习资料时推荐此方式)。

以上三点基本上能解决99.99%网站打不开的问题了。

如还有疑问,可在线留言,着急的话也可以通过微信联系我们。

IC-Light官网站点数据评估

IC-Light官网浏览人数已经达到692,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:IC-Light的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找IC-Light官网进行洽谈提供。如该站的IP、PV、跳出率等!

关于IC-Light特别声明

本站新媒派提供的IC-Light信息都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由新媒派实际控制,在2024年6月16日 下午6:55收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,新媒派不承担任何责任。

相关导航

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...