AI绘画；（Stable Diffusion进阶篇：模型训练）

前言

在上一篇笔记中学习了解了一部分关于Stable Diffusion的运行原理，今天就来接着学习下Stable Diffusion关于微调训练方面的知识点。

今天没多少废话，因为我下午要去玩PTCG！让我们冲冲冲

数据集

上一篇笔记里提到过AI是如何“吸收”我们给它的知识，其中便是通过记录图像的像素色块分布然后存储这一特征。

现如今Stable Diffusion作为最炙手可热的AI绘画工具，它的训练规模肯定是极为庞大的。

在最开始的时候，官方的V1.1版本说是用了世界上最大规模的多模态图文数据集LAION-2B来进行训练，其中的B代表着Billion（十亿）。

这个数据集有着约23.2亿对图片和对应文本描述的庞大数据集：

最新的LAION-5B约有58.5亿

Stable
Diffusion官方在这个基础上训练了超过40万步，每个版本追加了更高清的图片进行优化，而SD1.5版本就是建立在LAION-5B数据集基础上。

这样庞大的数据集训练成本当然是很高的

Stable Diffusion团队共使用了256块英伟达A100
GPU，训练了15万个小时共计成本约60万美金，而其竞争对手Dalle2的训练开销约在其7-8倍左右。

现在许多人手机上都有的GPT4训练成本已然超过了1亿美金，回过头看感觉Stable Diffusion还挺有性价比的。

当然看到这里也不要紧张，我们自己训练的模型并不需要这么大规模和这么多钱。

目前AI绘画领域所讨论的所有模型训练都是建立在这些官方已经花了很多钱和时间训练出来的开源模型（预训练模型）基础上。

所以现在绝大多数个人用户上传的模型都是微调模型，也就是那些在已经预训练好的大型模型基础上使用特定的数据集进行进一步训练，这样可以让模型适应特定任务或领域。

在以往官方已经训练好了不同版本的模型，而这些被模型训练者们挑选来训练的模型被称为“基底模型”。当然不只是官方的模型，还可以选择别人微调后的模型再进行一次训练。

目前在各类模型网站上有着各种对模型的微调方式，而且这方式都是一个个开发者自行摸索出来的。

**主流模型微调手段
**

在早期的时候有着各类模型微调手段例如审美梯度Aesthetic Gradient、由NovelAI开发者提供的超网络Hypernetwork等。

就目前的模型市场上看，还能发挥比较大作用的主流微调训练手法一共有三种：Dreambooth、LoRA(Low-Rank
Adaptation)低秩(zhi)适应模型、Textual Inversion文本反演。

这三个微调手法分别对应着我们已经很熟悉的CheckPoint大模型、Lora模型和Embeddings词嵌入模型

Dreambooth
（CheckPoint）是最早诞生且对配置要求最高的手段（显存>12GB），它是直接对包括文本编码器到噪声预测器的一整个过程进行微调，但调出来的模型理论上能容纳很多新东西，像是各种风格化的大模型。

LoRa
是目前公认性价比最高的微调方式，通过在噪声预测期的神经网络中嵌入一些额外的低秩适应层从而实现高质量微调。配置要求也是最低的(显存>8GB)，毕竟生成的模型只需要几十到几百MB，目前用来生成里植入一些人物角色和特定物体。

Textual
Inversion(Embeddings)是比较轻量的微调手段(显存>10GB)，是通过一些文本（Token）向量层面的微小改动起到微调效果。现多用于一些简单的概念植入或者提高生成图片的质量。

当然显卡配置越高越舒服，最好是16GB以上的配置。如果没有也没关系，可以用线上部署的方式来训练，直接上4090巴巴适适。

不过还有另一种方法：模型之间的融合，现如今所常用的模型大多数都是多个模型融合的结果。

---

1girl, beautiful face, ((white eyes)), sexy pose, Red moon in the
background, stars, space, (lightroom:1.13), soft light, (natural skin
texture:1.2), (hyperrealism:1.2), sharp focus, focused,[[realistic]]

Negative prompt: (low quality:1.3), (worst
quality:1.3),(monochrome:0.8),(deformed:1.3),(malformed hands:1.4),(poorly
drawn hands:1.4),(mutated fingers:1.4),(bad anatomy:1.3),(extra
limbs:1.35),(poorly drawn face:1.4),(watermark:1.3),(patreon
logo),FastNegativeV2

• Steps: 30

• Sampler: Euler a

• CFG scale: 7

• Seed: 3943490072

• Size: 512x512

• Model hash: e3020b4e49

• Model: realisian_v50

• Denoising strength: 0.7

• Clip skip: 2

• ENSD: 31337

• Hires upscale: 2

• Hires upscaler: R-ESRGAN 4x+

• Version: v1.6.0-2-g4afaaf8a0

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：

目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

• GPT的定义与概述
• GPT与其他AI对比区别
• GPT超强记忆力体验
• 万能GPT如何帮你解决一切问题？
• GPT表达方式优化
• GPT多类复杂应用场景解读
• 3步刨根问底获取终极方案
• 4步提高技巧-GPT高情商沟通
• GPT深度玩法应用场景
• GPT高级角色扮演-教学老师
• GPT高级角色扮演-育儿专家
• GPT高级角色扮演-职业顾问
• GPT高级角色扮演-专业私人健身教练
• GPT高级角色扮演-心理健康顾问
• GPT高级角色扮演-程序UX/UI界面开发顾问
• GPT高级角色扮演-产品经理
• GPT高级技巧-游戏IP角色扮演
• GPT高级技巧-文本冒险游戏引导
• GPT实操练习-销售行业
• GPT实操练习-菜谱推荐
• GPT实操练习-美容护肤
• GPT实操练习-知识问答
• GPT实操练习-语言学习
• GPT实操练习-科学减脂
• GPT实操练习-情感咨询
• GPT实操练习-私人医生
• GPT实操练习-语言翻译
• GPT实操练习-作业辅导
• GPT实操练习-聊天陪伴
• GPT实操练习-育儿建议
• GPT实操练习-资产配置
• GPT实操练习-教学课程编排
• GPT实操练习-活动策划
• GPT实操练习-法律顾问
• GPT实操练习-旅游指南
• GPT实操练习-编辑剧本
• GPT实操练习-面试招聘
• GPT实操练习-宠物护理和训练
• GPT实操练习-吸睛爆款标题生成
• GPT实操练习-自媒体爆款软件拆解
• GPT实操练习-自媒体文章创作
• GPT实操练习-高效写作推广方案
• GPT实操练习-星座分析
• GPT实操练习-原创音乐创作
• GPT实操练习-起名/解梦/写诗/写情书/写小说
• GPT提升工作效率-Word关键字词提取
• GPT提升工作效率-Word翻译实现
• GPT提升工作效率-Word自动填写、排版
• GPT提升工作效率-Word自动纠错、建议
• GPT提升工作效率-Word批量生产优质文章
• GPT提升工作效率-Excel自动化实现数据计算、分析
• GPT提升工作效率-Excel快速生成、拆分及合并实战
• GPT提升工作效率-Excel生成复杂任务实战
• GPT提升工作效率-Excel用Chat Excel让效率起飞
• GPT提升工作效率–PPT文档内容读取实现
• GPT提升工作效率–PPT快速批量调整PPT文档
• GPT提升工作效率-文件批量创建、复制、移动等高效操作
• GPT提升工作效率-文件遍历、搜索等高效操作
• GPT提升工作效率-邮件自动发送
• GPT提升工作效率-邮件自动回复
• GPT接入QQ与QQ群实战
• GPT接入微信与微信群实战
• GPT接入QQ与VX多用户访问实战
• GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

• -----------
  AI绘画定义与概述
• AI绘画的应用领域
• AI绘画与传统绘画的区别
• AI绘画的工具分类介绍
• AI绘画工具-Midjourney
• AI绘画工具-百度文心一格
• AI绘画工具-SDWebUI
• AI绘画工具-Vega AI
• AI绘画工具-微信中的AI绘画小程序
• Midjourney学习-Discord账号的注册
• Midjourney Bot界面讲解
• Midjourney提示词入门
• Midjourney高级提示词
• Midjourney版本参数学解读
• Midjourney功能参数
• Midjourney上采样参数
• AI绘画组合应用1-Midjourney + GPT
• AI绘画组合应用2-Stable Diffusion + GPT
• AI绘画组合应用3-AI绘画+ GPT +小红书
• AI绘画组合应用4-AI绘画+ GPT +抖音
• AI绘画组合应用5-AI绘画+ GPT +公众号
• AI绘画组合应用6-AI绘画+ GPT + AI视频
• AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
• AI绘画设计-Logo设计
• AI绘画设计-套用万能公式
• AI绘画设计-引用艺术风格
• AI绘画设计-GPT加速设计方案落地
• AI绘画设计-Vega AI渲染线稿生成设计
• AI绘画设计-摄影
• AI绘画设计-头像设计
• AI绘画设计-海报设计
• AI绘画设计-模特换装
• AI绘画设计-家具设计
• AI绘画设计-潘顿椅设计
• AI绘画设计-沙发设计
• AI绘画设计-电视柜设计
• AI绘画设计-包装设计的提示词构思

第三阶段（30天）：AI-视频高段位

恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• -----------
  AI视频定义与概述
• AI视频制作-方案与创新
• AI视频制作-各种工具实操
• AI视频制作-美学风格(油画/插画/日漫/水墨)
• AI视频制作-形象设定(人物形象服装/造型/表情)
• AI视频画面特效处理
• AI视频画面拼接
• AI视频画面配音
• AI视频画面包装
• AI视频锁定人物逐一精修
• 多种表情动作/情节
• 动态模型转换-视频内部元素关键帧
• 动态模型转换-图像整体运动
• 动态模型转换-虚拟人
• 动态模型转换-表面特效
• AI自媒体视频-深问GPT，获取方案
• AI自媒体视频-风格设置(诗歌/文言文等)
• AI自媒体视频-各行业创意视频设计思路
• AI视频风格转换
• AI视频字数压缩
• AI视频同类型衍生
• AI视频Pormpt公式

第四阶段（20天）：AI-虚拟数字人课程

• -----------
  AI数字人工具简介
• AI工作台界面功能展示及介绍
• AI数字人任务确定
• AI数字人素材准备
• AI知识、语料的投喂
• AI模型训练
• AI训练成果展示及改进
• AI数字人直播系统工具使用
• AI人物在各平台直播
• AI数字人在OBS平台直播

第五阶段（45天以上）：AIGC-多渠道变现课程

该阶段是项目演练阶段，大家通过使用之前学习过的AIGC基础知识，项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

-----------

• AI-小红书引流变现
• AI-公众号引流变现
• AI-知乎引流变现
• AI-抖音引流/带货变现
• AI-写作变现
• AI-B站引流变现
• AI-快手引流变现
• AI-百家号引流变现
• AI-制作素材模板出售变现
• AI-周边定制变现
• AI-手机壳图案定制变现
• AI-周边产品定制变现
• AI-服装图案定制变现
• AI-个性头像定制变现
• AI-起号与知识付费变现
• AI-实现淘宝销售变现

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好，需要的点击下方二维码，即可前往免费领取！