猫眼电影记者 王元哲 报道w3u7903ejky2ywls

InstantCharacter 投稿量子位 | 公众号 QbitAI

GPT-4o带火的漫画风角色生成，现在有了开源版啦！

腾讯混元携手InstantX团队合作打破次元壁，开源定制化角色生成插件——InstantCharacter。

以往针对角色驱动的图像生成方法，都存在一定的缺陷。

例如，基于适配器的方案虽然基本实现主体一致和文本可控，但在泛化性、姿势变化和风格转换的开放域角色方面仍然存在困难。基于微调则需对模型进行重新训练，从而浪费过长的时间。更不必说，费用高昂的推理时间的微调。

而现在这个插件基于DiTs（Diffusion Transformers），能在保证推理效率和文本可编辑性的同时，完美实现角色个性化创作。

那么一起看看它具体是如何实现的？

方法介绍

现代 DiTs与传统的UNet架构相比，展现出前所未有的保真度和容量，为生成和编辑任务提供了更强大的基础。基于此，InstantCharacter扩展了DiT，从而用于强泛化性和高保真的角色驱动图像生成。

InstantCharacter的架构围绕两个关键创新展开：

1.可扩展适配器：开发了一个可扩展的适配器模块，有效解析角色特征并与DiTs潜在空间无缝交互。2.渐进训练策略：设计了一个渐进式三阶段训练策略，以适应收集的多功能数据集，使角色一致性和文本可编辑性的分开训练成为可能。

可扩展的适配器设计

传统的定制适配器，例如IPAdapter或ReferenceNet，在DiT架构中往往失效，因为它们是专为基于U-Net的模型设计的，缺乏可扩展性。

为了更好地适应DiT模型，研究员提出了一种可扩展的full-transformer适配器，它作为角色图像与基础模型潜在生成空间之间的关键连接，通过增加层深度和隐藏特征尺寸实现可扩展性。

该适配器由三个编码器块组成：

1.通用视觉编码器：首先利用预训练的大型视觉基础编码器来提取通用角色特征，从它们的开放域识别能力中受益。

以前的方法通常依赖于CLIP，因为它对齐了视觉和文本特征。然而，虽然CLIP能够捕捉抽象的语义信息，但它往往会丢失对维持角色一致性至关重要的详细纹理信息。为此，研究者用SigLIP替代CLIP，SigLIP在捕捉更细粒度的角色信息方面表现出色。

此外，引入DINOv2作为另一个图像编码器来增强特征的稳健性，减少背景或其他干扰因素导致的特征损失。

最后，通过在通道维度的拼接整合DINOv2和SigLIP特征，从而获得更全面的开放域角色表示。

2.中间编码器：由于SigLIP和DINOv2是在相对较低的384分辨率下预训练和推理的，在处理高分辨率角色图像时，通用视觉编码器的原始输出可能会丢失细粒度特征。为了缓解这个问题，采用双流特征融合策略分别探索低级特征（low-level features）和区域级特征（region-level features）。

首先，直接从通用视觉编码器的浅层提取low-level features，捕捉在更高层次中常常丢失的细节。

其次，将参考图像分割成多个不重叠的区块，并将每个区块输入视觉编码器以获取region-level features。

然后，这两种不同的特征流通过专用的中间transformer编码器进行分层整合。具体来说，每个特征路径都由独立的transformer编码器单独处理，以与高级语义特征整合。随后，来自两个路径的精炼特征沿着token维度连接，从而建立一个全面的融合表示，捕捉多层次的互补信息。

3.投影头：最后，精炼的角色特征通过投影头投射到去噪过程，并与潜在噪声交互。通过时间步感知的Q-former实现这一点，它将中间编码器输出作为键值对处理，同时通过注意力机制动态更新一组可学习的查询向量。转换后的查询特征随后通过可学习的交叉注意力层注入去噪空间。最终，适配器可以实现强身份保持和复杂文本驱动的灵活适应。

训练策略

为了有效训练该框架，研究者首先精心构建了一个高质量的数据集，包含1000万张多样化的全身人类/角色图像，包括用于学习角色一致性的配对图像和用于实现精确文本到图像对齐的非配对数据集。

其次，精细设计了训练方案，以优化角色一致性、文本可控性和视觉保真度。为了实现角色一致性，首先使用未配对数据进行训练，其中角色图像作为参考引导进行自重建，以保持结构一致性。同时研究发现使用512的分辨率比1024更为高效。

在第二阶段，继续以低分辨率（512）进行训练，但切换到配对训练数据。为生成不同动作、姿势和风格的角色图像，研究者通过将角色图像作为输入，生成新场景中的角色。这个训练阶段有效消除了复制粘贴效应，增强了文本可控性，确保生成的图像准确遵循文本条件。

最后一个阶段涉及使用配对和非配对图像进行高分辨率联合训练。团队发现有限数量的高分辨率训练迭代可以显著提高图像的视觉质量和纹理。这一阶段利用了高质量图像实现高保真和文本可控的角色图像。

实验结果

作者对基于FLUX的先进方法进行定性比较：OminiControl、EasyControl、ACE+和UNO；以及大型多模态模型GPT4o。为了评估，作者收集了一组不存在于训练数据中的开放域角色图像。

现有方法存在局限性：OminiControl和EasyControl无法保留角色身份特征，而ACE++仅在简单场景中保持部分特征，但在面对动作导向的提示时表现不佳。UNO过度保持一致性，这降低了动作和背景的可编辑性。可以看到，InstantCharacter达到了与GPT4o相当的结果，但它不是开源的。

相比之下，InstantCharacter始终表现最佳。具体而言，InstantCharacter在保持精确的文本可控性的同时，实现了更出色的角色细节保留和高保真度，即使是针对复杂的动作提示。

InstantCharacter还可以通过引入不同的风格loras来实现灵活的角色风格化。如图所示，InstantCharacter可以在吉卜力和Makoto风格之间切换，同时不影响角色一致性和文本可编辑性。然而，Jimeng和GPT4o很难灵活地保持这些风格。

本文插件代码及项目均已开源，鼓励更多的人积极参与相关工作探讨。

论文地址：https://arxiv.org/abs/2504.12395代码地址：https://github.com/Tencent/InstantCharacter项目地址：https://instantcharacter.github.io/

  时事1：小舞被霍雨浩C了一夜神界

  04月28日,2024年台湾地区两项选举结果对两岸关系走向将产生怎样影响？国台办回应中国驻比利时使馆提醒中国公民加强安全防范,

　　“小红，以后常来玩呀！”小不点站在村头，用力向空中挥手。

,350234黑土怎么找本。

  04月28日,云南镇雄山体滑坡灾害已致31人遇难,　　虽然雷雨频频，但是造成高温的天气系统没变，所以气温没有受到明显影响。（@北京日报 记者 骆倩雯 图为6月11日晚北京雷雨过境。邓伟摄）,亚洲AV18🈲️❤️在线观看,yeyebirdie奶牛农场主生命工坊,GayFuckGayFuckingGV。

  时事2：曼珠沙华焯出水

  04月28日,中新教育｜第八届黄炎培职业教育奖颁奖大会在北京举行,

　　然而，小不点却毫不害怕，就这样逆行而上，以血肉之躯承受，一路奔行进了山脉深处，硬撼山洪！

,久久久久精品国产成人jK漫画,睡觉抓着小鸡一晚上会怎样,澡池里强摁做开腿呻吟H微博。

  04月28日,多名中国游泳运动员药检呈阳性？ 外交部回应,

　　“怎么回事？”几位族老都出现了，向他询问。

第十九章 争夺,农夫摘花处破血淋淋猜三个数字,中国肥老太槡BBB,小舞的玉足伸进我的喉咙。

  时事3：国产天美麻豆熟妇Av视频

  04月28日,“一带一路”能源项目在长兴岛交付,

　　三、坚持人才培养是医院发展的基石

,憋尿夹震蛋尿失禁车,交hdsexvideos娇小,国产乱婬AV人妻无码电影。

  04月28日,海口兴潮天后宫重修开放：妈祖文化联结海内外乡情,

　　“我什么时候也可以这样杀这些流寇如斩草？！”

,扒开雏田❌狂揉naruto,XXXX🍆🍆🍆158,欲漫涩❤️免费网站入口。

  时事4：扒开老师❌狂揉❌电视剧

  04月28日,土耳其抓获33名“伊斯兰国”相关嫌疑人,

　　六、工作中要注意方法。在管理中，可能会碰到各种各样的复杂情况，不管是什么情况，我们都要以礼相待，有理不在声高;处理违纪一定做到客观、公平、公正;处理好与每个同学的关系;学会微笑服务，“请、谢谢、对不起、没关系” 等文明语言要挂在嘴边。

,老板脱👙让员工摸🐻,从头啪到尾全肉小黄书在线观看,欲望岛av。

  04月28日,万开达高速全线首片预制T梁完成浇筑,

　　“太古传说中，有一种绝世凶兽名为朱厌，形似猿猴，脚赤红，头白色，只要一出现就预示着一域要大乱了。”

,G漫彩虹正版安装包地址,欧美性做爰大片免费看软件男组长,牛牛伊思人在钱。