分享好友 最新动态首页 最新动态分类 切换频道
ComfyUI]AI换脸神器 InstantID+IPAdapter
2024-12-27 01:52

对比lora训练,faceID,intantID,IPA,在人脸风格的迁移上,是目前AI换脸的主要方式。而最新出的InstantID,只需单个图像即可实现ID保留生成,相似度极高。

InstantID,主要是使用 ControlNet 和 IP-Adapter 的组合来控制扩散过程中的面部特征。
InstantID 同时支持 WebUI 和 ComfyUI。

支持官方提供的8种风格,还可与PhotoMaker Styler通用。
非官方项目地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID

项目地址:https://github.com/cubiq/ComfyUI_InstantID/blob/main/README.zh-CN.md

推荐使用 ComfyUI Manager管理器安装,安装完成后重启comfyui。

  • models/ipadapter
  • models/loras
  • models/clip_vision
  • models/insightface/models/antelopev2
  • models/controlnet
  • models/instantid

注意事项

  • 使用InstantID需安装InsightFace 模型(所有换脸的插件都需要

  • 需使用 SDXL 系列模型

  • 显存要求高,至少12G显存

下载模型文件,放入 InstantID 的插件目录下
模型目录

  • models/ipadapter

ComfyUIcustom_nodesComfyUI-InstantIDcheckpoints

  • 下载 InstantID/ControlNetModel 中的 config.json 和 diffusion_pytorch_model.safetensors ,将模型地址填入 📷ID ControlNet Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints/controlnet

  • 下载 InstantID/ip-adapter 中的 ip-adapter.bin ,将其地址填入 Ipadapter_instantid Loader 节点中(例如:ComfyUI/custom_nodes/ComfyUI-InstantID/checkpoints

  • 下载 DIAMONIK7777/antelopev2 中的所有模型,将其放入 ComfyUI//custom_nodes/ComfyUI-InstantID/models/antelopev2 中

controlnet模型

https://huggingface.co/InstantX/InstantID/tree/main/ControlNetModel

ipadapter模型

https://huggingface.co/InstantX/InstantID/tree/main

 
 
 

这里参考光头强图片的构图,参考姚明的肖像,生成的图片,可以看到,背景是森林的,人物肖像是姚明。融合了两者的风格。

这里调整了一下权重,可以看到两张图片的风格元素完全融入进去了。

第一个加载器,修改成本地存放 controlnet 模型的目录,以下是我本地的路径

F:ComfyUI-aki-v1.1custom_nodesComfyUI-InstantIDcheckpointscontrolnet

第二个加载器是大模型,选择 SDXL 版本的模型。

在提示词风格化节点中,可以选择不同的风格。

第一张图放人脸,第二张图控制脸部的位置。InstantID会将2个图像的人脸按照一定比例融合,生成新的图片。

工作流中多了一个可视化风格节点。

可视化的风格化节点,总共有两个节点,第一个节点代表的是艺术家风格,我们可以尝试不同的艺术家风格类型。第二个节点是艺术运动。

  1. 针对参考的面部提取
  2. 通过InstantID和IPadapter faceId来对面部加强分析
  3. 面部识别和采样渲染
最新文章
十大耐玩平民手游多人下载推荐 耐玩的手机游戏有哪些2024
一些平民玩家很爱玩那种不肝不氪又很耐玩的手游,许多福利超多的联机类游戏都很适合平民体验,多元化内容加上良心福利机制满足了平民小白玩家的需求,那么十大耐玩平民手游多人下载推荐哪个好?本文介绍10个免费耐玩佳作都需要联网运行,平
转载:【AI系统】从 CUDA 对 AI 芯片思考
从技术的角度重新看英伟达生态,有很多值得借鉴的方面。本文将主要从流水编排、SIMT 前端、分支预测和交互方式等方面进行分析,同时对比 DSA 架构,思考可以从英伟达 CUDA 中借鉴的要点。英伟达生态的思考点从软件和硬件架构的角度出发,CU
新奥精准资料免费大全|精选解释解析落实
  在这个信息爆炸的时代,获取高质量的资料变得越来越重要。本文旨在提供一个全面的资料库,涵盖了各个领域的精选资源,从科技、人文到社会科学等,无需付费即可享有。我们将对每个领域的资料进行精选解释和深度解析,确保读者能够真正理
活动回顾 | “心航向”职业生涯规划工作坊
“心航向”职业生涯规划工作坊— 活 动 回 顾 —在职业道路的选择上,明确的方向和明智的规划是成功的关键。2024年12月7日,浙江大学心理与行为科学系在海纳苑3幢417室举办了一场意义深远的“心航向”职业生涯规划工作坊,旨在为心理系学子
看过《被困百万年:弟子遍布诸天万界》的人还看过
感谢您对我方的信任,我们将按照法律法规要求,采取严格的安全保护措施,保护您的个人隐私信息。在此,我们郑重的提醒您:1.在您使用我方提供的服务时,建议您详细阅读本用户隐私政策,详细了解我方收集,存储,使用,披露和保护您的个人信
美甲培训如何助力你在教育行业中脱颖而出?
作为一位教育行业从业者,我们都希望自己能够在竞争激烈的市场中脱颖而出。而美甲培训正是一个能够帮助我们实现这一目标的利器。在本文中,我们将从多个角度来阐述美甲培训如何助力我们在教育行业中取得成功。美甲培训不仅仅是教授学员如何
群辉包管理工具 synopkg
因为想安装docker,使用apt-get发现apt-get: command not found,这个的出现是因为系统的原因。Linux系统分为三种:1.RedHat系列:Redhat、Centos、Fedora等2.Debian系列:Debian、Ubuntu等3.其它。RedHat系列的包管理工具是yumDebian系列
网站迁移主机位置,会影响谷歌SEO吗?
在网站运营的广阔天地里,每一次细微的变动都可能牵动SEO的敏感神经。特别是当我们面临网站迁移主机位置这一重大决策时,其对于谷歌SEO的影响无疑是每位站长都关心的问题。基于我多年的实战经验和对行业动态的敏锐洞察,今天,我们就来深入
揭秘:排队免单模式如何快速吸引并留住用户?
揭秘:排队免单模式如何快速吸引并留住用户? 系统源码+商业模式设计+平台运营方案,微三云麦超解读前文引言:微三云温馨提醒:因为市场模式是经常变化的,不可能一个模式长期不变地玩如果系 统没有预留多种多样丰富的奖励模式,一旦满足不
阿里巴巴国际站排名怎么靠前?排名规则介绍
阿里巴巴是一个大型的批发网站,国内很多商家都是在这里进货的,除此之外,阿里巴巴还有一个国际站,面向全球各个国家。若是在阿里巴巴国际站开店,怎么提升排名呢?一、国际站排名怎么靠前?1. 首先是产品的类目要选择正确,怎样确定正确类
相关文章
推荐文章
发表评论
0评