Illustrious，一个基于Stable Diffusion XL的文本到图像模型，已经在AI艺术社区占据了主导地位,以至于Civitai(最大的AI艺术模型中心)不得不专门创建一个类别来管理它庞大的资源生态系统。
这一切都发生在三个月内。它成功的秘诀?回归基础,并加入了一些新的元素。
而较新的模型如SD 3.5和Flux依赖于冗长的自然语言描述,Onoma AI(Illustrious的开发者)采取了不同的方法,利用Danbooru标签来帮助他们的模型理解概念,而无需重新发明复杂的字幕系统。
该模型在Danbooru庞大的标记动漫图像库上的训练,使其在理解视觉概念方面占据优势。
Danbooru系统中的每个标签都代表了特定的元素,如角色特征、服装、姿势或背景,这使得在生成图像时可以精确地控制,而无需浪费宝贵的令牌在冗长的描述上。
这些标签已经存在多年,并成为艺术/动漫爱好者中图像分类的一种标准。
该模型在理解照片特征方面非常准确和高效。
"这就像有一个艺术家,他完全理解你想要什么,而无需用段落解释,"专注于NSFW AI内容的Discord成员Vishnu告诉Decrypt。"你只需要知道正确的标签。"
从根本上说,Illustrious使用了经典的SDXL架构,并配备了一个复杂的双编码器系统,将CLIP ViT-L和OpenCLIP ViT-bigG结合起来,以理解单词并将其与视觉等价物关联起来。
该模型能够以1536×1536的分辨率处理和生成图像,并且能够无显著质量损失地拉伸到2048×2048甚至3744x3744。
对比之下,原始的SDXL只能处理全高清分辨率(1024x1024)。
创造Illustrious的过程是有条不紊的。初始训练阶段,产生了0.1版本,处理了750万张1024×1024分辨率的图像,每批192张。
团队仔细平衡了学习率,运行了20个epoch(AI研究其全部数据集的过程),以建立一个坚实的基础。一旦结果令人满意,团队就开始增加数据集大小和分辨率,进行下一轮迭代。
在高级训练阶段,Illustrious真正开始大放异彩。1.0版本将数据集扩展到1000万张图像,分辨率提高到1536×1536。
尽管他们将批量大小降低到128,但他们引入了复杂的标签操作策略和注册令牌,这些都是定义该模型出色性能的基本变化。
2.0版本的最终完善阶段更进一步。使用2000万张同样高分辨率的图像,但批量大小增加到512,团队引入了多标题方法,大大提高了文本-图像对应关系。
结果是有史以来最好的waifu生成器,具有良好的微调能力、提示遵从性、不错的美学和高质量输出。
对于更擅长技术的人来说,Illustrious的开发者还引入了许多有趣的技术,如"无dropout令牌"方法,确保在训练过程中永远不会排除特定的令牌;实施准寄存器令牌,使模型能够处理未知或奇怪的概念;余弦退火调度器,用于学习率;多级dropout系统和输入扰动噪声增强,将一个简单的AI模型转变为强大的模型。
Illustrious不需要任何额外的步骤就可以运行。
安装过程与任何其他SDXL模型相同。下载检查点并将其放在相应的文件夹中,具体取决于您使用的UI。
Windows和Linux
MacOS
Mac用户有类似的路径。但是,一些流行的macOS导向UI需要额外的步骤。
一旦模型加载完成,有三件事需要考虑。
有许多模型可供选择,它们都专注于不同的风格、美学和特征。
甚至还有像Noob AI这样的通用模型,它们使用Illustrious作为基础,正被微调者用来构建自己的模型。
但是,以下是我们针对不同需求的首选。这些在提示理解、输出质量和易用性方面都很出色。所有样本都来自Civit AI社区,版权免费。
链接: Mistoon_Anime - v1.0 Illustrious | Illustrious Checkpoint | Civitai
链接: Smooth Mix - Illustrious | Pony - Illustrious | Illustrious Checkpoint | Civitai
链接: NTR MIX | illustrious-XL | Noob-XL - XIII | Illustrious Checkpoint | Civitai
链接: THRILLustrious - v5.0 THRILLed | Illustrious Checkpoint | Civitai
