
PCDMs由先验条件扩散模型、修复条件扩散模型和完善条件扩散模型三个关键阶段组成,解决了应对源图像与目标图像的姿态不一致问题,以及在生成高质量、逼真图像方面的挑战。
PCDMs在DeepFashion和Market1501数据集上的各项指标,明显优于其他SOTA方法,且在小尺度数据集Market1501(128*64)上的SSIM指标得到最高的0.3169,比第二名PIDM高出3.8%。
在先验条件扩散模型第一阶段,在给定源图像和姿势坐标作为条件的情况下,先验条件扩散模型采用一个变换网络来预测目标姿势下的全局特征。
在修复条件扩散模型第二阶段,进一步完善第一阶段的全局特征,建立源图像和目标图像之间密集对应关系,该阶段可确保跨多个维度(包括图像、姿势和特征)进行对齐,对于实现逼真的结果至关重要。
在完善条件扩散模型第三阶段:在前一阶段生成初始粗粒度目标图像后,细化条件扩散模型介入以提高图像质量和纹理细节。
此阶段利用先前生成的粗粒度图像作为条件,进一步提高图像保真度并确保纹理一致性,涉及修改第一个卷积层,并使用图像编码器从源图像中提取特征。采用交叉注意力机制将纹理特征注入网络,便于纹理修复和细节增强。