一个女孩，在朋友圈发布了一张和三名朋友在沙滩合影的背影照。很普通的日常分享，照片有美感，但不多！
而后，一位名为@viggo 的大佬看到了这张照片，利用AI绘画进行了一些加工并发到社交软件上，继而引起了一场关于AI绘画的轩然大波。
viggo利用AI绘画前后进行了两次照片加工。第一次，他生成了两张极具美感的漫画照片，一改原图的暗淡，整个画面焕然一新。最让人惊讶的是，AI并没有抹杀原图的姿态，而是将极大程度地保留了四位姑娘的姿势，比如左边第二位女孩是背着手的，这在生成的作品中也保留了下来。
也许是看到了网友们的热情，viggo紧接着又进行了第二轮的创作。这次的效果更为惊艳，无论从画面的层次感、线条感还是场景特效的使用，都让人眼前一亮。
随着自己画作的走红，viggo很敞亮地分享了制作方法。他自曝是借助了StableDiffusion和ControlNet的力量。
众所周知，Stable Diffusion是一款高性能模型，它生成的图像质量更高、运行速度更快、消耗的资源以及内存占用更小，是AI图像生成领域的里程碑。
01
那ControlNet是什么呢？
一个插件，它能对图像进行精确控制和调整。
ControlNet是一种基于控制点的图像变形算法，主要用于数字图像处理、计算机视觉和计算机图形学等领域。此外，它还可以根据给定的控制点对图像进行非线性变形，从而实现对图像的精确控制和调整。
我们先来看ControlNet的基本结构。ControlNet操纵神经网络块的输入条件，从而进一步控制整个神经网络的整体行为。这里「网络块」指的是一组神经层，它们被放在一起作为一个构建神经网络的常用单元，例如resnet块、多头注意力块、Transformer块。
概念抽象，一起看看它的出图效果吧！
1、Canny边缘检测：通过从原始图像中提取线稿，生成相同构图的图像。
2、深度检测：通过提取原始图像中的深度信息，可以生成具有同样深度结构的图。
3、带有语义分割的ControlNet：
4、HED边缘检测图示
02
ControlNet强大在哪儿？
——高度精细
它的优势在于能够在不失真的情况下对图像进行高度精细的调整。相比于其他基于网格或形状的图像变形算法，ControlNet的变形效果更加自然和平滑，能够更好地适应图像的特征。
简单来说，这一技术可以为AI扩散模型增加一个额外的输入，对AI的输出方向进行限制。如同在一望无际的沙漠上修建了道路与指示牌，为迷失方向的旅行者提供了前行的方向。
在ControlNet出现前，AI画师们想要产出具有特定特征的图像，就必须在“魔法咒语”上大下功夫——用户常常需要加上一系列的动作、位置修饰词语来描述图中角色的姿势、肢体特征等，即便这样，出图也依然需要大量的运气成分。而利用ControlNet，AI可以通过草图、人体关键点特征、深度图、人体骨骼等特征按图索骥，产出满足特定要求的图片文件。
开篇提到四个女孩背影的生成，按照viggo的说法，他是先用 StableDiffusion图片转文字，再用Text2Prompt插件拓展找关键词，最后用ControlNet插件绑定骨骼开始换关键词尝试效果。
很多人认为，Stable Diffusion的发布是AI绘画生成发展过程中的一个里程碑。它给大众提供了一个可用的高性能模型，不仅生成的图像质量非常高，运行速度快，并且有资源和内存的要求也较低。不需要任何复杂的操作，只需要选择关键词，它就会创造出极具视觉效果的图像。
而ControlNet的出现解决了AI绘画的痛点。用关键词生成图片难免会有所瑕疵，尤其是在细节方面，而ControlNet能改善图生图效果，深入到很细微的地方。
不止于此，它还能实现线稿转全彩图，输入一张线稿图，得到的是填充好的图。
总之，用Stable Diffusion生成高质量的大图，辅以 ControlNet锦上添花，一张叹为观止的AI绘画就搞定了。
当然，它的强大远不止于此，除了能生成静态的图像，还能生成动态的视频！
03
ControlNet视频化思路
近期，#AI一键魔改视频#成为新近热议话题之一。其实，这就是ControlNet的视频版。它可以通过线稿提取、姿势检测，或模型识别等等方式，生成同样构图的画面。
比如，我们熟悉的IKUN、《泰坦尼克号》等都可一键生成魔改视频！
ControlNet的视频化思路有很多：
方法一：将原视频一帧一帧地导出，然后使用 ControlNet 转换每一张图片的风格。公认最繁琐的方式没有之一！
方法二：跟 EbSynth 结合，通过使用 ControlNet 生成关键帧。相较前一种，方便不少。
方法三：将ControlNet技术和Pix2PixVideo技术结合，开发了支持ControlNet的视频生成在线演示版，目前最简易的生成方式。
使用界面很简单，将原始视频导入，首先会将视频拆解成帧序列，并使用ControlNet中的Openpose模型检测出人体pose图，随后根据文本生成新的人像，由于有了pose图的控制，可以使人体姿势保持不变。
可见，随着技术的更新迭代， 会有越来越多类似ControlNet的技术涌入市场，不少人认为画师职业正面临着巨大威胁。
04
ControlNet不应让画师停止想象
而是助其更好地控制笔刷运作
随着AI绘画引入的ControlNet，将会带来一系列的影响。这项技术能够帮助机器完成更多的任务，提高生产力提高绘画质量和效率、增强人机交互、以及提供新的视觉体验。同时，这也意味着传统的艺术家可能会面临竞争压力。
随着越来越多的企业开始使用AI绘画来绘制图像，ControlNet技术也开始进入人们的视野。目前，许多企业都在尝试使用ControlNet技术来改进自己的图像绘制技术，并希望通过使用这项技术来获得更多的竞争优势。适用行业包括建筑行业、机械制造业、能源行业、医疗行业、政府机关等行业。
大家普遍认为这样可以更好地控制笔刷的“运动”，并且可以更精确地绘制出想要的图像。
总之，ControlNet对于人工智能和AI绘画的发展具有重要影响力，但绝不是让人类画师失去想象力的！未来，ControlNet的发展趋势是更具前瞻性的。
版权声明：【除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，因客观原因，或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联系及时处理，共同维护良好的网络创作环境，联系邮箱：603971995@qq.com】
