项目介绍

“无忧 Try-On”虚拟试衣系统

项目概要介绍

Version 1.0

2023.4.15

Written By 无忧工作室

1 前言

随着元宇宙概念的火爆以及虚拟数字技术的大迸发，在人们购买力逐步上升的今天，世界看到了“虚拟试衣”技术未来巨大的发展空间。根据 CB Insights 的预测，全球虚拟试衣间的市场规模将从 2020 年的 34 亿美元，增长至 2030 年的 193 亿美元。虚拟试衣技术在不断地发展中和突破中，在电子商业普及和移动端用户迅速增长的阶段，如果虚拟试衣系统能提高其真实性以及对不同衣物的贴合度，将在网络时代获得巨大的市场。基于赛题方要求，我们团队开发了符合要求的虚拟试衣系统。下文中，我们将会从创意、功能、特色、开发工具与技术、应用对象以及应用环境等多个维度对于相关成果进行阐述。

2 创意描述

现有的虚拟试衣模型在生成真实的结果和细节方面取得了较大进展。然而，这仍是一项具有挑战性的任务，特别是在人体姿态复杂以及生成的图像与原有图像存在较大变形的情况下，大多数现有方法仍然存在错位或明显的生成痕迹。为解决以上问题，我们团队设计了基于SDAFN与PF-AFN的虚拟试衣系统。该系统不需要人体解析图的引入，且为单阶段模型，部署难度大大降低；通过利用知识蒸馏的方法，在保持高质量虚拟试衣图像生成的同时，减少了模型计算量和参数量，实现了模型轻量化。

3 功能简介

团队使用开源数据集VITON及在此基础上进行预处理得到的VITON_plus数据集，建立虚拟试衣算法模型，并完成模型训练、优化、工程化、部署等工作，最终产出一个本地可执行程序以及部署在服务器支持试用的Web界面(无忧工作室)，同时测试了模型性能以及对模型的试穿效果进行了评估。对于Web界面与本地化可执行程序，我们考虑到用户使用的便捷性，设计了简洁的用户界面，仅仅需要按照对应按钮点击进行图片上传，即可完成虚拟试衣的操作。

图 1 前端首页面

图 2 试衣页面

图 3 本地化可执行程序

4 特色综述

• 我们的模型为端到端单任务模型，避免了多任务模型计算开销大的缺点，加快了推导速度。

• 我们的模型不需要依赖人体解析图，人体姿态估计图等任何辅助信息，只需要将人的图片和衣服的图片作为输入。

• 使用知识蒸馏的方法，我们的模型在保持高质量虚拟试衣图像生成的同时，减少了模型计算量和参数量，实现了模型轻量化。

• 团队通过数据增强的方式，扩充了模型训练的数据集，提高了模型的鲁棒性。

• 模型性能优异，在FID等关键指标中取得领先得分，并在衣物细节保留、人物身体拟合和边缘识别等传统虚拟试衣难点取得较好表现。

5 开发工具与技术

6 应用对象

虚拟试衣应用对象主要是消费者，也包括服装品牌和零售商。对于消费者来说，虚拟试衣应用可以帮助他们在线上购买时更好的选择尺码和款式，并且可以节省时间和物流成本。对于服装品牌和零售商来说，虚拟试衣能够提升顾客购买体验和增加销售额。

7 应用环境

• 网上购物体验：虚拟试衣可以让消费者在网上购物时直接在网站上试穿衣服，评估是否适合自己的风格和尺码

• 个性化定制：虚拟试衣技术可以提供更好的个性化定制服务，消费者可以在虚拟试衣应用中输入自己的体型数据，量身打造符合自己尺码和风格的服装。

• 生产设计：设计师可以利用虚拟试衣技术，通过三维模拟试穿，评估和改进服装的设计和版型，提高生产效率和质量。

8 结语

从22年12月份组队到23年4月份项目提交，团队成员合作无间，分工明确，圆满完成了赛题所需工作，但难免有不足之处，我们的项目仍有以下可以改进和完善之处：

• 模型大小

目前效果较好的模型为FP6截断版本，大小为56MB，仍有优化空间。可以通过剪枝、量化、低秩分解等方法进一步缩小模型。

• 模型准确率

目前模型准确率仍有提升空间，可以通过增加训练数据量、调整超参数与模型大小等方式进一步提高。

在未来，团队会尝试将该项目多方应用结合，助力元宇宙发展，使其与日常生活的融入更加贴近。