图片说明

超级变变变:喵星人汪星人还有街景神奇变身 | Paper+Code

量子位 阅读(0) 评论()

  夏乙 千平 发自猴姆

  只会卖萌的猫主子分分钟变身百兽之王?

  白天能不能懂夜的黑?

  你的汪星人如果是其他品种会是什么样?

  不用想象,有个AI已经(完全不用人插手)“脑补”一切。先展示结果:

  给一张小猫咪的图像(左边),AI就能自动让它变身狮子王(右边)。

  

  给一张白天的图像(左边),AI就能自动脑补出夜晚的样子(右边),还把灯效加上了~

  

  给一张冬天的图像(左边),AI就能脑补夏天会是什么景象(右边),还把叶子加上了~

  

  UNIT

  上面这些神奇的变身,都属于“图像到图像翻译”的问题。

  这些结果都来自Nvidia研究团队的一篇NIPS 2017论文:UNsupervised Image-to-image Translation networks。

  Ming-Yu Liu(刘洺堉)等研究员提出了一种基于耦合生成对抗网络(Coupled GAN)和变分自动编码器(VAE)的无监督图像到图像翻译框架,他们还根据首字母缩写(强行)给“无监督图像到图像翻译”起了个名字:UNIT。

  论文中提到,从概率模型的角度来分析图像到图像的翻译问题,会发现其中的关键挑战是学习不同领域图像的联合分布。

  共享潜在空间假设

  为了推断联合分布,Ming-Yu Liu等使用了“共享潜在空间假设”,假设不同领域的一对对应图像(x1、x2)可以映射到共享潜在空间(z),UNIT框架就建立在这个假设的基础之上。

  上图中的E1和E2是两个编码函数,可以将图像映射到潜在编码,而G1和G2是两个生成函数,从潜在编码映射到图像。

  UNIT框架结构

  在UNIT框架中,研究人员用VAE-GAN对每张图像建模,其中抗性训练目标与权重共享约束相互作用,实施共享空间,以在两个域中生成相对应的图像,而VAE将翻译的图像与相应域中的输入图像关联起来。他们用卷积神经网络(CNN)重建了E1、E2和G1、G2,并通过权重共享限制来实现了共享潜在空间假设。

  搞定这个框架之后,研究人员们把它用到了各类无监督图像到图像翻译任务上,比如说……

  能完成街景在晴天雨天、白天黑夜、夏景雪景之间的转换,支持640×480的图片;也能在合成图像和真实照片之间进行转换:

  还可以在各种狗狗品种之间转换,只要养一只狗,发朋友圈的时候就可以在哈士奇、德牧、柯基、萨摩耶、英国牧羊犬可以变来变去:

  除了狗,还有猫,但不是你家的各类长毛短毛主子,而是在家猫、老虎、狮子、美洲狮、美洲虎、猎豹之间互相转换:

  当然,最常见的人脸变换这个模型也能搞定,可以生成出金发、微笑、山羊胡、戴眼镜等等特征:

  要想说自己的模型好,当然还得和别人的作品比较一下。

  几位研究员用街景门牌号数据集SVHN、MNIST和USPS数据集之间的变换测试了模型性能,和SA、DANN、DTN、CoGAN等模型进行了比较。

  UNIT框架在SVHN→MNIST任务上的准确率达到0.9053%,远高于同类模型。

  Paper+Code

  如果你对这篇论文感兴趣,可以直接阅读原文。Paper地址:https://arxiv.org/abs/1703.00848

  

  另外,Nvidia研究团队还放出了这项研究的代码。这是一个无监督图到图翻译的Coupled GAN算法PyTorch实现。

  GitHub地址:https://github.com/mingyuliutw/UNIT

  

  更多这个项目的图像变换结果,可以在以下地址查看。

  https://photos.app.goo.gl/5x7oIifLh2BVJemb2

  我们还挑了几段视频,直接贴在这里。比方冬天变夏天:

  还有小猫和兽王互相变身:

  研究团队 Ming-Yu Liu(刘洺堉)

  

  刘洺堉是Nvidia Research的研究员,专注于计算机视觉和机器学习方向。此前先后供职于英特尔和三菱。刘洺堉2003年在台湾交通大学获得学士学位,2012年在马里兰大学帕克分校获得博士学位。

  刘洺堉个人主页的信息显示,今年他已经发布了9篇论文,除了上面这篇中NIPS(Spotlight)之外,他还有一篇论文中了IJCAI,有两篇中了CVPR(包括一篇Oral):

  • Tactics of Adversarial Attack on Deep Reinforcement Learning Agents

      Yen-Chen Lin, Zhang-Wei Hong, Yuan-Hong Liao, Meng-Li Shih, Ming-Yu Liu, Min Sun

      International Joint Conference on Artificial Intelligence (IJCAI), 2017 Melbourne, Australia

      Paper:https://arxiv.org/abs/1703.06748

      Project:http://yclin.me/adversarial_attack_RL

  • Deep 360 Pilot: Learning a Deep Agent for Piloting through 360 Sports Videos

      Hou-Ning Hu, Yen-Chen Lin, Ming-Yu Liu, Hsien-Tzu Cheng, Stanley Chang, Min Sun

      Conference on Computer Vision and Pattern Recognition (CVPR) Oral, 2017, Honolulu, Hawaii

      Paper:https://arxiv.org/abs/1705.01759

  • CASENet: Deep Category-Aware Semantic Edge Detection

      Zhiding Yu, Chen Feng, Ming-Yu Liu, Srikumar Ramalingam

      Conference on Computer Vision and Pattern Recognition (CVPR), 2017, Honolulu, Hawaii

      Paper:https://arxiv.org/abs/1705.09759

Thomas Breuel

  Thomas Breuel是Nvidia的杰出研究科学家(Distinguished Research Scientist)。去年10月加入Nvidia之前,他在Google担任研究科学家的工作。他还长期在德国凯泽斯劳腾大学任教,以及供职于施乐、IBM等公司。

  Thomas Breuel本硕毕业于哈佛大学,1992年在麻省理工获得博士学位。来自Google Scholar的信息显示,Thomas Breuel今年除了这篇论文,还有一份专利申请获批。

  Jan Kautz

  Jan Kautz是Nvidia视觉计算和机器学习研究的高级总监,领导整个视觉计算研发小组。此外他还一直担任伦敦大学学院的教职。

  他本科毕业于德国埃尔朗根-纽伦堡大学,随后在滑铁卢大学获得硕士学位,2003年Jan Kautz在德国马克思·普朗克计算机科学研究所获得博士学位。

  今年以来,Jan Kautz还发布了十几篇论文,其中包括:

  • Learning Affinity via Spatial Propagation Networks

      S. Liu, S. De Mello, J. Gu, M.-S. Yang, J. Kautz

      Neural Information Processing Systems (NIPS)

      Paper:https://arxiv.org/abs/1710.01020

  • Intrinsic3D: High-Quality 3D Reconstruction by Joint Appearance and Geometry Optimization with Spatially-Varying Lighting

      R. Maier, K. Kim, D. Cremers, J. Kautz, M. Niessner

      IEEE International Conference on Computer Vision (ICCV)

      Paper:https://arxiv.org/abs/1708.01670

  • A Lightweight Approach for On-The-Fly Reflectance Estimation

      K. Kim, J. Gu, S. Tyree, P. Molchanov, M. Niessner, J. Kautz

      IEEE International Conference on Computer Vision (ICCV,Oral)

      Paper:https://arxiv.org/abs/1705.07162

  • Mixed-primary Factorization for Dual-frame Computational Displays

      F.-C. Huang, D. Pajak, J. Kim, J. Kautz, D. Luebke

      ACM Transactions on Graphics (Proceedings SIGGRAPH 2017)

      Paper:http://research.nvidia.com/publication/2017-06_Mixed-primary-Factorization-for

  • Dynamic Facial Analysis: From Bayesian Filtering to Recurrent Neural Network

      J. Gu, S. De Mello, X. Yang, J. Kautz

      IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

      Paper:http://research.nvidia.com/publication/dynamic-facial-analysis-bayesian-filtering-recurrent-neural-networks

  • GA3C: GPU-based A3C for Deep Reinforcement Learning

      M. Babaeizadeh, I. Frosio, S. Tyree, J. Clemons, J. Kautz

      International Conference on Learning Representations(ICLR)

      Paper:https://arxiv.org/abs/1611.06256

      Code:https://github.com/NVlabs/GA3C

  • Pruning Convolutional Neural Networks for Resource Efficient Transfer Learning

      P. Molchanov, S. Tyree, T. Aila, T. Karras, J. Kautz

      International Conference on Learning Representations(ICLR)

      Paper:https://arxiv.org/abs/1611.06440

  —

it.sohu.com true 搜狐媒体平台 http://it.sohu.com/20171006/n516267266.shtml report 8064 夏乙千平发自猴姆只会卖萌的猫主子分分钟变身百兽之王?白天能不能懂夜的黑?你的汪星人如果是其他品种会是什么样?不用想象,有个AI已经(完全不用人插手)“脑补”一切
康斯坦丁

康斯坦丁

知名IT评论人,曾就职于多家知名IT企业,现是科幻星系创建人

机器之心Almosthuman

机器之心Almosthuman

未来在这里发声。

魏武挥

魏武挥

新媒体的实践者、研究者和批判者。

梅花园陈述

梅花园陈述

立足终端领域,静观科技变化。深入思考,简单陈述。

硬件再发明

硬件再发明

智能硬件领域第一自媒体。