一、模型介绍
TryOffDiff是由德国比勒费尔德大学的机器学习组提出的一种名为Virtual Try-Off(VTOFF)的新任务。它是一种基于扩散模型的虚拟脱衣技术,通过高保真服装重建技术,实现从单张穿着者照片到标准化服装图像的生成。以下是详细介绍:
1.核心技术:
StableDiffusion与SigLIP的协同创新:深度融合StableDiffusion架构与SigLIP视觉条件技术优势,以图像引导生成范式替代传统文本条件模式,确保生成图像紧密贴合原始服装风貌。扩散模型在训练稳定性与样本多样性方面优势突出,通过逐步去噪过程生成数据,确保服装图像质量稳定可靠、风格多元丰富。
2.功能特点:
高保真重建:在严苛的Viton-HD数据集测试中,TryOffDiff能精准还原精致纹理、复杂图案、独特版型等,确保重建图像与原始服装高度契合。
简化图像生成流程:无需复杂的预处理和后期处理,直接生成高质量图片,比传统方法更高效。
适配多样化的输入:能够应对不同背景、光照和姿势的照片,生成一致的服装图片。
二、快速在算家云搭建
(一)大模型TryOffDiff(虚拟服装图像生成器)自启动说明:
本镜像带开机自启动功能,直接开机开放端口,然后访问网址即可。程序一键启动、停止、重启的方法以及手动启动Web页面的方法详见文档。
(二)大模型TryOffDiff(虚拟服装图像生成器)一键使用:
环境名称:Ubuntu 22.04.4 LTS
Cuda版本:V12.4.105
Python版本:3.11.11
NVIDIA Corporation:RTX 4090
根据需求选择主机和镜像,进行一键创建实例。在租用实例页面,通过一键使用进入应用社区,搜索并选择TryOffDiff大模型,选择RTX 4090 GPU,创建实例。获取端口号。第一次使用需要进行实名认证(实名认证可跳过此步骤)。实名认证后开发对外端口,获取访问地址。进入web页面。将获取到的链接复制到本地浏览器访问。在项目实例页面,点击WebSSH,进入WebSSH页面,运行后续的功能代码。使用./sj-run.sh -h可以查看程序的启动、停止和重启参数。(注意:代码块的右上角有一键复制代码的功能)使用./sj-run.sh -s可以启动程序;使用./sj-run.sh -t可以停止程序;使用./sj-run.sh -r可以重启程序。手动启动web页面的方法:先停止程序,再激活vtoff虚拟环境,设置Hugging Face的加速服务端点以使用镜像地址进行更快的下载和请求处理,最后运行app.py文件。
三、本地部署教程
2.安装NVIDIA CUDA Toolkit 12.1:下载CUDA Keyring,安装CUDA Toolkit。出现页面提示,说明NVIDIA CUDA Toolkit 12.1安装成功。注意查看官方文档以获取准确的包名和安装指令。配置NVIDIA CUDA Toolkit系统环境变量。编辑~/.bashrc文件,插入环境变量并激活。查看cuda系统环境变量。
3.安装Miniconda:下载Miniconda安装脚本,运行安装脚本。初次安装需要激活base环境。安装成功后,pip配置清华源加速。编辑/etc/pip.conf文件,加入全球指数链接并保存退出。注意事项包括确保系统是Linux x86_64架构、给予脚本执行权限、同意许可协议并初始化等。如果在安装过程中遇到链接无法访问或解析失败的问题,请检查网络连接和链接的有效性。如果问题依旧存在,请访问Anaconda的官方网站获取最新的下载链接。
4.从GitHub仓库克隆项目:克隆存储库并进入项目工作目录。创建一个名为vtoff的新虚拟环境并指定Python版本为3.11。切换到项目工作目录后激活vtoff虚拟环境并在该环境中安装依赖库。下载预训练模型并设置相关环境变量后运行app.py文件。当Gradio页面出现时表示模型已搭建完成。以上就是该模型在算家云的搭建流程以及本地部署