人在ICCV,介绍两篇入选的“穿衣服换衣服”论文

人在ICCV,介绍两篇入选的“穿衣服换衣服”论文

人在ICCV,介绍两篇入选的“穿衣服换衣服”论文
乾明 伪装发自 首尔量子位 报导 | 大众号 QbitAI人在ICCV 2019,刚从韩国首尔脱离。【doge说两篇有意思的论文吧,来自一个我国小哥,都是关于“衣服”的研讨。一篇教人穿衣服,另一篇给人换衣服。比脱衣服的研讨难多了,并且颇具商业价值。第一篇教人穿衣服:FiNet模型这篇论文标题为Compatible and Diverse Fashion Image Inpainting,还被接纳为Oral论文(承受率仅4.6%),研讨方向是时装调配。研讨到了这个程度,只是简略地将输入图画中缺失的时髦单品补全现已不行用了。想要杰出还要重视全体调配的协调性与真实性。在这个过程中,最扎手的一个问题是,如安在耦合形状和外观时,妥善处理衣服的鸿沟。这也是同类模型作用不如人意,且无法商业化的要害点之一。这个论文中,作者提出了一个名为FiNet的模型,依据两阶段的变分自编码器的生成网络,在满意多样性和兼容性的条件下,来填充图画中缺失的时髦产品。中心思路是,分别用形状生成网络和外观生成网络,来顺次生成缺失衣服的形状和外观。从而使FiNet能够在方针区域中修正出具有不同形状和外观的服装。△形状生成网络△外观生成网络为了确保兼容性,作者也在其中集成了一个兼容性模块,将兼容性信息编码到网络中,来确保让生成衣服的形状和外观都是和其他衣服是兼容调配的。如此研讨,运用场景也较为广泛。从用户的视点来说,在不知道穿什么衣服出门的时分,能够让计算机模型主动生成调配的潮流服装。而商家,则是能够将这一技能,运用到时装设计和新时髦产品引荐等运用中,来更好的完成商业购买转化,进一步激起用户的消吃力。那作用怎么呢?在论文中,作者给出的作用是这样的:直观来看,与Pix2Pix+noise、BicyleGAN、VUNET、ClothNet等办法比较,作用比较好。从实践运用的视点来剖析,FiNet模型的成果,也相对更挨近落地一些。第二篇:给人换衣服,ClothFlow模型这篇论文名为ClothFlow: A Flow-Based Model for Clothed Person Generation,研讨主题也是衣服生成。但与FiNet模型比起来,这篇论文的完成办法与运用方向都有很大不同。ClothFlow是一个依据外观流的衣服生成模型。首要用于将一个图片中的服装烘托到别的一张图片上,其想要完成的作用是这样的:详细的完成办法,是运用一个级联的特征金字塔网络,预算源服装区域和方针服装区域的几许改换,然后经过多个依据编码器-解码器的生成网络来完成“衣服搬迁”。在论文中,作者也屡次提到了这一研讨的运用场景——虚拟试衣等服装相关运用。尤其是在直播场景中,有不少的幻想空间。这一技能成熟后,主播能够虚拟换装,省去买衣服的本钱和换衣服的时刻。并且, 用户也能够依据自己的喜爱给主播选穿什么样的衣服。作者最终简略介绍下论文作者吧。主题附近、办法不同的两篇入会论文,一作都是一位叫韩欣彤的小哥。顺手查了下经历:上海交大本科、马里兰大学帕克分校博士。2018年进入工业界,先在创业公司码隆科技任职算法研讨员。最新已被挖到虎牙,是我国直播一哥公司的计算机视觉Tech Lead。他说,接下来仍是会继续重视直播内容生成方向,比方人脸和人体的驱动和生成。韩欣彤很年青,但现已在CVPR,ICCV,ECCV等尖端会议宣布了近十篇论文。并且据他自己介绍,是上海交大本科三年级时才真实触摸计算机视觉,至今7年。所以也是真实找到了爱好和拿手,也赶上了年代潮流。咱们问虎牙,这次韩欣彤博士穿衣服、换衣服的研讨,会跟他现在在虎牙的作业进一步相关起来吗?比方——一个斗胆而规则的主意,在直播中给主播虚拟换装,或许让用户给主播换衣服。他们没给直接必定的答案。不过也云山雾罩泄漏:在学在产,虎牙的技能研制都不会只是存在于论文中,也会进一步进入到渠道事务中。所以,就说你们这些搞技能研讨的,赞得很。(大误)— 完 —

admin

发表评论