对于人像，我的研究重点主要是如何让脸更贴近原图。这篇文章就通过一些专题的实践，讲讲我对还原人脸的一些出图思路、技巧和心得，会从出图思路、优化方向出发，逐步拆解，希望能给大家带来启发。

本篇的重点内容有：

如何根据一张图像还原人脸？

如何使用 stable diffusion 完成脸部相似的真人转漫画？

如何快速搭建一个可用的人脸 lora ？

如何基于模板照片换脸？

如何借助 SDXL 的能力出创意写真？

我从去年 12 月份第一次接触 stable diffusion ，但真正玩起来还是在今年 6 月有了显卡之后，虽然错过了 1-5 月的蓬勃发展期，但从 6 月底以来公众号垂直更新AI绘画内容，已经积累了 1800 多粉丝，也建了 SD 交流群。

我最初的头像，就是去年 12 月时，使用文生图参照着我当时的特征去写的提示词（白色毛衣，中长发，星星背景）：

现在我的头像已经迭代了一版，使用了 lora 更贴近真人了。controlnet 的出现也对 SD 出图有了更强的控制，能够直接参考人脸特征和其他写真图片的风格。

但学会看图说话，仍然是一个很重要的能力。下面第一个案例，就是讲如何在没 lora 的情况下实现漫转真人。

区别于完全二次元的头像定制，真人漫改或者AI写真市场的需求还是很大的。工欲善其事，必先利其器，要想做出个名头，让顾客认可你的效果，那人脸还原度是一定要去追求的。

目前基于真人定制的图像主要有漫改类还有AI写真类，先看下目前类似的账号。

拿明星脸做成果图引流，可以让观众更有共同话题，大家自发去认明星，互动率就高了。且明星脸大家是比较熟悉的，所以更容易看出效果是不是真的好。

作者有说过需要20张人脸，那么肯定是需要lora出图的。加上SD模型有很多，只要你训一个lora，就能在多个模型上出不同的效果。

MJ有个很大的问题，就是皮肤效果还不够真实，相比较来说SD的模型能够自己训练，关于人像的出图效果也更好。

虽然小程序现在也一大堆，比如妙鸭，但自动化并不能满足所有人的需求，对于职业照这种必须要像本人的情况来说，私人定制还是有市场的，况且顾客喜欢的模板，人家APP不一定有。

如果想做形象照定制，完全可以走收集模板+换脸的路子，就像现在小红书上也有很多PS接单做证件照一样，但是这个路子也是有坑的，使用不同的工具，换脸的效果也有所差异，接下来就让我慢慢道来。

我的第一次 AI 出单，就是因为有个从公众号来的小伙伴有个动漫转真人的需求，不需要特别还原动漫，只需要有那个感觉就行，唯一的要求就是胸大（可能主要为了瑟瑟），需要一套图，15-30 张。

如何在没 lora 的情况下实现漫转真人，首先就是要根据人物特征反推并细化提示词。

大家听到漫转人，应该会想到这种图：

这种使用线稿控制出图，选择真人大模型出图就可以，但是我需要的是出一套场景变换、人物动作变换的图像，原型要求是迪士尼的茉莉公主。

我问他要了下其他漫转人的样图，他给了冰雪奇缘的，可以看到发型还是蛮还原的，不过衣服啥的不需要完全一样，类似就 ok 。

所以出图思路：

1、写实类大模型，画风精美，需要外国面孔

2、如果有现成的人物 lora ，就可以更好地控制出图，迪士尼公主应该有人会炼

3、提示词改变场景、表情等

选用了比较出名的 absolutereality_v16 模型，是一个非亚洲面孔的写实模型https://civitai.com/models/81458/absolutereality

最开始我没有找到关于茉莉公主的 lora ，所以我选择提示词直接出图，给客户先看下效果是否符合预期。

不知道怎么写提示词，先使用 tagger 反推一下：

然后直接用提示词出图看看效果：

tag 上的人种、服饰、装饰、姿势都比较齐全了，不过在服装颜色方面、装饰细节方面还不太对，因此基于这个提示词进行修改，规定服装颜色、头饰等。

茉莉公主这个发带实在不太好还原，但可以出皇冠或者吊坠的图像。

最终发了几个效果图给客户，客户看中下面两张图中，第一个的皇冠，第二个的脸，并且要求后面的是同一张脸。

他要求同一个人的脸，我就有点犯难了，我总不能专门去训练一个lora吧。而且训练lora也需要十几张同样的脸，也不是一件容易的事。

当时试过 controlnet 的 reference，但是如果对图片风格不统一的真人照片，想换得像还是有点难。但我这个是同一个模型生成出来的，感觉可以尝试一下。

因此我出图之后，用图生图蒙版把脸部覆盖，选择客户想要的那张脸，开启 reference only 模式，同时开启AD修脸插件。

蒙版是为了只参考和修改脸部，其他部位不能有什么干扰，重绘区域选择仅蒙版区域。

controlnet 选择 reference 设置，可根据出图效果去调整。

只开 controlnet 出图多半脸不正常，截图一下我的中间出图结果，比如可能会出现，脸部不贴合、比例不对、肤色不统一等问题。

所以需要开启 ad 修脸，就能把比较奇葩的脸修回来。

不过当时出图是两个月前，现在很多插件模型都更新了，我这两天复现了一下，同样的参数不如当时像了。

后面在C站上找到了茉莉公主的 lora ，为了发型更一致，使用lora也出了些图，可以看下当时的效果。

之前用 reference 方法+修脸插件，直接把脸换成功了，主要也是因为图源比较统一，不然拿这个图换我的脸， 是不太行的。

但是重绘的操作可以用检测脸部算法来替代，那就和 roop 的原理一样，这次趁复盘的机会也做几个新实验。

1、直接图生图 roop

使用图生图，调整重绘幅度为 0 。

可以看到直接 roop 还是不错，因为这个图片本来就不是特别写实的感觉， roop 的质感还是能接受的，而且 roop 对外国人的脸比亚洲脸支持得要好。

这个表情的嘴部是微张的，也很好地还原了原图的表情，跟上面的 reference 效果基本是差不多的。

2、图生图 roop +修脸插件

试用了两个修脸插件，可以看到加了的话，妆感会更贴近与原图，如右边 fe 的出图妆感就更重一些。

到时候可以根据实际出图情况去选择是否加修脸插件。

固定人脸的操作，优先 roop ，而且图源相似的情况下，换脸效果也会更好。