随着数字艺术的发展,自动化的图像处理技术日益受到关注。近日,来自清华大学与腾讯 ARC 实验室的研究团队提出了一种名为 ColorFlow 的新型图像序列上色模型。这一模型旨在解决在黑白图像序列上色的同时,保持角色和物体身份一致性的问题,满足漫画和动画等行业的实际需求。

ColorFlow 是一个三阶段的扩散基础框架,它充分利用上下文信息,通过参考图像池为黑白图像序列准确生成颜色。例如,该模型能够有效地为角色的发色和服装上色,确保与参考图像的色彩一致性。与以往需要针对每个角色进行微调的技术不同,ColorFlow 通过一种创新的、具备强大泛化能力的检索增强上色管道,简化了色彩生成的过程。

该模型的设计中包含两个主要分支:一个分支用于提取色彩身份,另一个分支则负责实际的上色过程。这种双分支设计充分利用了扩散模型的优势,能够通过自注意力机制实现强大的上下文学习和色彩身份匹配。为了验证 ColorFlow 的有效性,研究团队还推出了 ColorFlow-Bench,这是一项专门针对基于参考图像的上色任务的综合基准测试。

在对比实验中,ColorFlow 在多项指标上超越了现有的先进模型,展现了更高的美学质量,其生成的颜色更贴近原始图像。研究团队展示了 ColorFlow 在不同艺术场景中的应用效果,包括黑白漫画、线条艺术、真实世界照片及卡通故事板等,均取得了令人满意的成果。

ColorFlow 的推出不仅为图像序列的自动上色技术树立了新的标杆,也为艺术产业的进一步发展提供了有力支持。研究团队希望这一技术能够在实际应用中实现更广泛的推广,推动数字艺术创作的创新与进步。

项目入口:https://zhuang2002.github.io/ColorFlow/

划重点:

🌟 ColorFlow 是一个创新的黑白图像序列上色模型,能够保持角色身份一致性。

🎨 该模型采用双分支设计,分别用于色彩身份提取和实际上色,提升了上色的效果和效率。

🏆 ColorFlow 在多项指标上超越了现有的先进模型,展现出更高的美学质量和实用性。