在许多关于AI绘画工具的排行榜上。Mjdjourney长期占据第一,Stable Diffusion紧随其后。
Mjdjourney一直以来就是一个“包罗万象”式的大模型,为用户解决所有问题的模式,将“靠嘴出图”发挥到了极致。而SD,则在各种插件的加持下拥有更多玩法,能够适应更多商业应用场景,当然工作流也更复杂。
但现在,SD也能“靠嘴输出”了。
7月底,SDXL1.0号称迄今为止最厉害的图像生成大模型SDXL1.0上线,无界AI并没有在第一时间与大家分享喜悦,不是因为它不够惊艳。
小编能“忍”到现在属实不易——几乎可以生成任何艺术风格的高质量图像,是实现超逼真效果的最佳模型。
今天,我们就来好好唠一唠,这个即将带领SD模型迎接开源以来第一次真正“进化”的SDXL1.0。
在许多关于AI绘画工具的排行榜上。Mjdjourney长期占据第一,Stable Diffusion紧随其后。
Mjdjourney一直以来就是一个“包罗万象”式的大模型,为用户解决所有问题的模式,将“靠嘴出图”发挥到了极致。而SD,则在各种插件的加持下拥有更多玩法,能够适应更多商业应用场景,当然工作流也更复杂。
但现在,SD也能“靠嘴输出”了。
7月底,SDXL1.0号称迄今为止最厉害的图像生成大模型SDXL1.0上线,无界AI并没有在第一时间与大家分享喜悦,不是因为它不够惊艳。
小编能“忍”到现在属实不易——几乎可以生成任何艺术风格的高质量图像,是实现超逼真效果的最佳模型。
今天,我们就来好好唠一唠,这个即将带领SD模型迎接开源以来第一次真正“进化”的SDXL1.0。
SDXL1.0拥有目前所有开放式图像模型中最大的参数数量,采用了创新的新架构。分别是第一阶段是基础模型,参数规模达到35亿,主要负责生成图像的基本轮廓和结构。第二阶段的细化模型,参数规模达到66亿,主要负责对图像的细节进行精细处理。这样的架构设计保证了图像生成的质量和稳定性。
根据官方数据,相比1.5、2.1版本的SD,使用者对SDXL1.0生成图像审美偏好的评价也有大幅度提升。
简单总结下SDXL1.0的特点:
1、提示词兼容性大幅提升
2、图片精度非常高
3、生成准确度大幅提升
4、风格自由度大幅度提升
5、目前绝大多数lora都无法在SDXL1.0的模型下使用,暂时的。
6、目前ControlNet不支持SDXL1.0,暂时的
SDXL1.0模型提示词兼容性的提升之大,大概就是那种“AI真的能听懂人话”的感觉。
从前我们写提示词,除了准确描述你想要的画面外,还不得不加上大量诸如“大师作品,最好画质,更高质量”等复杂又麻烦的前后缀,来提高产出作品的质量——这还是在支持中文的无界AI,英文版的词汇对大部分国产用户来说,可能会更加复杂晦涩。
但SDXL1.0可以支持用非常少的提示词来进行描述,并且不需要为了提升作品的质量去额外“念咒”,就可以生成复杂、细致、美观的图像。如下左图,甚至能够仅仅通过简单的提示词的描述,融合梵高的星空与日本的浮世绘两大风格。
还有一个细节,原本无界AI给大家分享的“咒语教程”均是以“短语、词条”的方式再想AI传递信息,来提高引导AI的效率。这都是因为AI难以理解复杂的人类语言。
在以往的模型中,我们只有将概念词条化,甚至手动去调整想要突出的核心元素的权重,才能在画面上得到妥善表现(如下右图)。但是SDXL1.0却能够更好的识别自然语言,让“嘴强王者”率先在AI绘画领域得以成为现实(如下左图)。
可以看到,不仅在对人类语言的理解上,SDXL1.0对意境氛围的还原也真的非常到位。即使是在输入的文字细微变化下,SDXL1.0也能准确地捕捉到用户的意图,并生成与之相对应的图像。
一些博主展示了其使用SDXL1.0与MJ的出图品质对比,更是不相上下:
提示词:Nothing special, glamour photography, photo of young adorable petite toned shy bride wearing white lace bodysuit, curly long hair, french braid, green eyes, dark raven hair, covered in rose petals, lying on bed, natural lighting, Lumix GH5, Voigtlnder Nokton 50mm f1.1 --style raw
未来,写提示词的门槛会被进一步降低。不过这并不意味着我们现阶段在学习、探索的一切就失去了意义。只是,以后想要得与目前到同样的产出结果,需要的操作将更加简单;使用同样操作生成的的图片,出图效果则能更上一层楼。
分辨率对图片质量的影响是非常直观的。如果你创作的AI图片只有512像素,那么细节再怎么丰满,整个作品从视觉上也会明显有一种粗糙感。
在之前的版本中,SD模型使用的训练样本尺寸大多是512像素或768像素的正方形图片。这导致我们在使用较大的分辨率作图时,AI会误以为我们要的是生成做多张图片,最终作品呈现出“多人多头”的现象。
但SDXL1.0的训练样本扩大到了1024*1024像素,这意味着它可以“直出”更大尺寸的图片,图片精度也有大幅度的提升。且因为庞大参数数量和创新的架构,它出图的不仅稳定性更高、具有更多的细节,而且也更不容易出现肢体错乱、画面混杂的现象。
如果是照片模式(比如输入相机参数),画面将直逼真实拍摄效果:
一个非常有意思的细节是,在使用过去的SD模型版本绘画时,如果画面中涉及“文字”的元素,就会非常别扭。但SDXL1.0却似乎已经初步具备了“写字”的能力。
在使用SDXL1.0的时候,可以尝试直接使用类似的句子,让她生成一个写有特定文字的图片,如“A cat holding a sign saying“Hungry”,效果就一个字:绝!
要知道,当我们在讨论用AI绘画赋能漫画、动画、游戏等涉及相关领域时,包括文本内容的精准呈现问题,就是AIGC被广泛应用的一大阻碍。而今,这项技术的进步,对AI绘画的影响将会是更加深远的!
SDXL1.0还为使用者提供了更丰富的艺术风格选项,其默认模型风格其实更接近于真实感的照片风。
但根据官方介绍,你可以通过提示词,让它在Anime、Photographic、Digital Art、Comic Book、Fantasy Art、Analog Film、Neon Punk、Isometric、Low Poly、Origami、Line Art、Cinematic、3D Model、Pixel Art等14种不同风格之间进行无缝切换。
这都得益于SDXL1.0团队在模型训练中细致入微的调整和优化,使得生成的图像色彩鲜艳,光照和对比度都更加合理和自然,给人以沉浸式的艺术体验。
想象一下,我们在使用SD模型进行AI绘画的时候,也不再吟唱冗长的“咒语”、配置繁多的LoRA,甚至都用不上那些令人眼花缭乱的扩展插件——那我们或许将得到一个Mjdjourney?
但如果再结合ControlNet等扩展插件(现阶段还不兼容),或许我们能在不久的将来拥有一个可控性更强的Mjdjourney!
ControlNet暂不支持SDXL1.0,但官方公开了正在适配中的新版ControlNet的预览效果,非常惊艳。
你是不是已经迫不及待地想要去试上一试呢?但小编之所以没有在SDXL1.0发布之初就与大家分享,那都是有“苦衷”的。
SDXL1.0大模型的出现,对于Stable Diffusion的使用与应用,可能还是“意义”大于“作用”本身。如果你只是一位AI绘画重度爱好者,SDXL大模型的确值得尝鲜。
但无论是对于一位初学者,还是更关心它实际用途的相关行业从业者来说,直接上手SDXL1.0并不会有非常好的体验。
原因很简单,官方基础模型的直接出图能力一般都比较弱。SDXL1.0只是一个基础模型,没有经过微调,也并非为了满足某一个特定需求而量身定制。
它虽然也可以绘制插画风、日漫风等二次元风格的作品,但实际效果并没有多惊艳。甚至不如无界AI已经上线的各类经过调整、融合等优化,以及为了某些特定需求而量身定制的模型。
SDXL1.0同样需要“包装改造”。
8月初,无界AI首个基于SDXL1.0训练的、针对T-shirt印花设计量身定制的模型——矢量插画已经上线。而今天,无界AI第二个基于SDXL1.0训练的二次元模型——彩漫XL(本期头条),也正式与用户见面。无界AI此前预告,适用于设计商用的“宋韵汉服模型”(注:to C版本即将上线),同样也是用SDXL1.0训练的。
这几个模型有一个非常大的特点就是:适合多种风格。
继承了SDXL1.0的所有特点,尤其通过提示词的变化,就会输出风格完全不同的风格效果,非常令人惊喜。几个模型在矢量插画、彩漫XL甚至宋韵汉服大模型等各自的聚焦领域内,也分别具有更亮眼的表现。
提示词:美丽的女孩,大家闺秀,温婉端庄,身穿宋代汉服,完美的身体曲线,迷人的表情,花海,满是花瓣飞舞的环境,中国古代韵味
Prompt:a woman in an orange dress wears a hat and earrings, in the style of kawacy, qian xuan, soft color blending, pierre-mony chan, emerald, cute and colorful, masterpiece
Prompt:little white rabbit in the flowers, big eye, happy, in the style of Otomo Katsuhiro, in a realistic hyper detailed render style, glow, yellow, blue, zbrush, hyper-realistic oil, head close-up, exaggerated perspective, Tyndall effect, water drops, mother-of-pearl iridescence, Holographic white, green background, realistic
提示词:人人尽说江南好,游人只合江南老。春水碧于天,画船听雨眠。垆边人似月,皓腕凝霜雪。未老莫还乡,还乡须断肠。国风插画。
未来无界AI还将训练更多基于SDXL1.0的优秀模型,让用户可以真正体验到SDXL模型带来的变化。
我们将会一起见证,SDXL带来的这一轮全新进化!