论文调研

Emergent Correspondence from Image Diffusion

[2306.03881] Emergent Correspondence from Image Diffusion
这篇文章用扩散模型提取图像特征，最终实现跨域匹配，但没有涉及手绘图像领域
使用预训练的扩散模型提取真实图像上的特征，找到两幅图共存的某个特征的对应。
对于一张噪声图，在训练好的U-Net逐步去噪的过程中，可以在中间某一个时间步的图像作为特征图。
而对于真实图像，可以在前向扩散时加噪，得到原图和噪声的混合图像，然后送到U-Net中提取中间层的激活得到扩散特征

Learning Dense Correspondences between Photos and Sketches

[2307.12967] Learning Dense Correspondences between Photos and Sketches
这篇文章通过深度学习方法提取素描图像的特征，建立素描图像和真实图像的关系
数据集为PSC6kphoto-sketch-correspondence/PSC6K_Benchmark_README.md at main · cogtoolslab/photo-sketch-correspondence · GitHub
在原有的Sketchy数据集上进行的扩充GitHub - CDOTAD/SketchyDatabase: This project is a reimplementation of The Sketchy Database: Learning to Retrieve Badly Drawn Bunnies
用自监督方法来学习草图和照片之间的密集对应关系。构造照片-草图对，用照片中带注释的关键点

Image Matching from Handcrafted to Deep Features: A Survey

Image Matching from Handcrafted to Deep Features: A Survey | International Journal of Computer Vision
介绍了计算机视觉中特征检测、特征描述、特征匹配的方法
特征检测：角特征、斑点特征、学习特征（机器学习、深度学习）、3D特征
特征描述：人工特征描述、机器学习、深度学习方法
特征匹配：区域匹配、图匹配、点集匹配

Unsupervised Semantic Correspondence Using Stable Diffusion

Unsupervised Semantic Correspondence Using Stable Diffusion
本文实现了从文本到特征的语义与图像特征对应

用扩散模型提取图像中的语义特征

OmniGlue: Generalizable Feature Matching with Foundation Model Guidance

2405.12979
一种图像匹配器，引入注意力机制，估计关键点集之间的对应关系