文章主题：stable diffusion, controlnet, image generation, art design

【Stable Diffusion教程】ControlNet的安装使用

part1 初步介绍ControlNet的原理、功能

尊敬的观众们，你们好！我在此荣幸地邀请大家共同参与我们Stable Diffusion系列教程的第11期。在这一期的教程中，我们将专注于实现视频转动漫风格的转换。让我们跟随教程的脚步，逐步掌握这一技术，开启我们的技能提升之旅吧！

我们现在正式引入ControlNet这个概念。在此之前，我们已经向您展示了如何构建基本环境和安装普通插件的方法。对于那些仍然不太了解的朋友，建议您浏览我们的主页并观看播放列表中的相关视频，以便更好地理解这个主题。

在过去，当我们使用SD进行图像生成时，其过程往往是不可预测的，如同天马行空一般。然而，这种情况自从引入了ControlNet技术以来，得到了显著的改善。现在，我们可以按照预期的样子来生成图片了，这在很大程度上提高了图像生成的质量和效率。

在这期的视频中，我们将深入探讨ControlNet技术，这也是我们ControlNet系列的第一期内容。

好，那么我们废话不多说，马上开始今天的内容。

说到这个ControlNet，还是要提出三个灵魂的拷问！

①这个ControlNet是什么？

②这个ControlNet到底能做什么？

③这个ControlNet到底怎么用？

那么，作为我们这个跳跃性教学的”无厘头”大师

首先回答第一个问题（ControlNet是什么）：

ControlNet是一种针对条件生成对抗神经网络（如Stable Diffusion等）的额外输入控制方法，旨在实现端到端的训练。这种方法的本质在于利用参考图来调节预训练的大模型AI生成的图像质量，从而达到更精确的控制效果。借助ControlNet，我们可以避免过多的提示词使用，减少抽卡式创作的频率，提高生成的图像质量。

第二个问题（ControlNet到底能做什么）：

ControlNet的边缘检测模型或线稿模型能够提取线稿，然后结合提示词和风格模型，对图像进行着色和风格化处理。这样一来，用户就能够通过ControlNet精确地操控AI图像的生成过程，比如上传线稿让AI协助填色渲染，或控制人物姿态生成线稿等。正因如此，ControlNet得以广泛运用于各种需精细控制图像生成的场合，如艺术设计、插画创作、广告设计等。

part2 ControlNet的安装和基本使用

【首先controlnet的安装】

controlnet的安装步骤：启动SD（网址： http://127.0.0.1:7860）→点击“拓展”→点击“可用”→点击“加载”→搜索“Controlnet”→重启界面

【检查control是否安装好】

方法一：已安装界面出现controlnet的版本信息

方法二：文生图界面出现Controlnet的一栏

【Controlnet模型下载】

步骤：打开作者主页（网址：https://huggingface.co/lllyasviel）→点击需要下载的模型界面→点击“Files and versions”下载→把下载好的文件放置于保存的SD-Webui/extensions/SD-webui-controlnet/models目录文件夹中

【Controlnet初阶使用】

步骤：将选择好的引导图拖拽入Controlnet的图片上传处→点击下方的启用；若显存低于6g，则选择低缓存；勾选预览和像素完美→controlnet的类型，可以初步选择openpose（姿态控制），点击旁边类似于小爆炸的图标

本期所写的提示词（可复制）：

(masterpiece, best quality:1. 4), solo, outdoor, lake,sunnyday, yoga pose,Palms pressed together, (tight yoga pants, white yoga pants:1. 4), (realistic, hyperrealistic:1. 4), 4k hdr,

(worst quality, low quality, normal quality:1.4), lowres, bad anatomy, ((bad hands)), text, error, missing fingers, extra digit, fewer digits,head out of frame, cropped, letterboxed, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, censored, letterbox, blurry, monochrome, fused clothes, nail polish, boring, extra legs, fused legs, missing legs, missing arms, extra arms, fused arms, missing limbs, mutated limbs, dead eyes, empty eyes, 2girls, multiple girls, 1boy, 2boys, multiple boys, multiple views, jpeg artifacts, text, signature, watermark, artist name, logo, low res background, low quality background, missing background, white background

【没有合适姿势引导图片的解决方案】

方法一：自己摆pose拍照，让Controlnet识别

方法二：编辑右边的图形，使用Openpose Editor

方法三：第三方网站（网址：https://app.posemy.art/)截选3D人形，直接生成openpose

part3 结尾

可能是因为我讲得太详细了，所以这一集的时间有点长。那接下来呢，我们会详细介绍关于controlnet的type，比如openpose、canny、depth等等。敬请期待哦！返回搜狐，查看更多

责任编辑：

AI时代，拥有个人微信机器人AI助手！AI时代不落人后！

免费ChatGPT问答，办公、写作、生活好得力助手！

搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！