突破性进展！只需单张参考图，完美仿写各种手写内容！华南理工等开源One-DM

亮点直击

提出了一种名为One-DM的创新扩散模型，用于生成风格化手写文本，并且只需一个样本即可模仿风格。引入了高频成分来提升手写风格的提取，显著改善了生成文本的风格还原度和清晰度。在多语言手写数据集上的实验显示，One-DM的效果超过了传统多样本方法。

总结速览

• 现有手写文本生成方法一般需要多个样本，而用户倾向于使用仅需单一样本的高效模型。
• One-DM能够模仿任意书法风格，通过风格增强模块利用高频信息提升风格提取，使用内容编码器和风格-内容融合模块生成手写文本。
• 实验结果表明，One-DM在使用单一样本的情况下生成多种语言的手写文本效果卓越。

方法

One-DM通过高频信息提取和风格-内容融合模块来增强风格模式的提取。使用拉普拉斯核作为高频滤波器，与风格编码器共同工作来提取风格特征。门控机制帮助减少噪声干扰，而内容编码器则处理文本内容特征，最后通过扩散模型生成手写文本图像。

风格增强模块和分析

风格增强模块通过引入高频成分来提高风格提取效果，使用拉普拉斯对比学习损失来学习更具区分性的风格特征。门控机制过滤掉背景噪声，而风格-内容融合模块整合了风格特征和内容特征，指导扩散模型生成。消融实验表明，拉普拉斯分支和门控机制对提升生成质量至关重要。

实验和应用

One-DM在生成风格化和风格无关的手写文本方面均展现出色的性能。与最先进工业方法和其他语言的生成任务相比，One-DM也具有明显优势。

总结展望

One-DM是一个创新的手写文本生成方法，能够在使用单一样本的同时提供高质量的生成结果。结合了高频信息和对比学习来提高风格提取效果。未来将探索One-DM在字体生成和矢量字体创建任务中的应用潜力。

参考文献

本文基于"One-DM: One-Shot Diffusion Mimicker for Handwritten Text Generation"进行概述。