CVPR 2018 Poster论文：处理多种退化类型的卷积超分辨率

论文地址：https://ift.tt/2GbASj1 1．    摘要 近年来，深度卷积神经网络（CNN）方法在单幅图像超分辨率（SISR）领域取得了非常大的进展。然而现有基于 CNN 的 SISR 方法主要假设低分辨率（LR）图像由高分辨率（HR）图像经过双三次 (bicubic) 降采样得到，因此当真实图像的退化过程不遵循该假设时，其超分辨结果会非常差。此外，现有的方法不能扩展到用单一模型解决多种不同的图像退化类型。为此，提出了一种维度拉伸策略使得单个卷积超分辨率网络能够将 SISR 退化过程的两个关键因素（即模糊核和噪声水平）作为网络输入。归因于此，训练得到超分辨网络模型可以处理多个甚至是退化空间不均匀的退化类型。实验结果表明提出的卷积超分辨率网络可以快速、有效的处理多种图像退化类型，为 SISR 实际应用提供了一种高效、可扩展的解决方案。 2．引言 单幅图像超分辨率（SISR）的目的是根据单幅低分辨（LR）图像输入得到清晰的高分辨率（HR）图像。一般来说，LR 图像 y 是清晰 HR 图像 x 由下面的退化过程得来，。 其中表示 HR 清晰图像 x 与模糊核 k 之间的卷积，表示系数为 s 的降采样算子，n 表示标准差（噪声水平）为的加性高斯白噪声（AWGN）。 SISR 方法主要分为三类：基于插值的方法、基于模型的方法以及基于判别学习的方法。基于插值的方法（例如：最近邻插值、双三次插值）虽然速度快，但是其效果比较差。基于模型的方法通过引入图像先验，例如：非局部相似性先验、去噪先验等，然后求解目标函数得到视觉质量较好的 HR 图像，然而速度较慢。虽然结合基于 CNN 的去噪先验可以在某种程度上提升速度，但仍然受限于一些弊端，例如：无法进行端对端的训练，包含一些比较难调的参数等。基于判别学习的方法尤其是基于 CNN 的方法因其速度快、可以端对端的学习因而效果好等在近几年受到了广泛关注，并且逐渐成为解决 SISR 的主流方法。 自从首个用 CNN 解决 SISR 的工作 SRCNN 在 ECCV（2014）发表以来，各种不同的改进方法相继提出。例如，VDSR 在 PSNR 指标上取得了非常大的提升；ESPCN 和 FSRCNN 分别在速度上进行了改进；SRGAN 在放大倍数较大情况下针对视觉效果的改善提出了有效的方法。然而这些方法都存在一个共同缺点，也就是它们只考虑双三次 (bicubic) 降采样退化模型并且不能灵活的将其模型扩展到同时（非盲）处理其它退化类型。由于真实图像的退化过程多种多样，因而此类方法的有效实际应用场景非常有限。一些 SISR 工作已经指出图像退化过程中的模糊核的准确性对 SISR 起着至关重要的作用，然而并没有基于 CNN 的相关工作将模糊核等因素考虑在内。为此引出本文主要解决的问题：是否可以设计一个非盲超分辨率（non-blind SISR）模型用以解决不同的图像退化类型？ 3．方法 本文首先分析了在最大后验（MAP）框架下的 SISR 方法，借此希望可以指导 CNN 网络结构的设计。由于 SISR 问题的不适定性，通常需要引入正则项来约束解空间。具体来说，LR 图像 y 对应的 HR 图像 x 可以通过求解下述问题近似， 其中为似然（也即数据保真）项，为先验（也即正则）项，为似然项和先验项之间的权衡参数。简单来说，上述公式包含两点：1）估计得到的 HR 图像不仅要符合 SISR 的退化过程，并且还要满足清晰图像所具有的先验特征；2）对于非盲超分辨率问题，x 的求解与 LR 图像 y、模糊核 k、噪声水平以及权衡参数有关。简而言之，非盲 SISR 的 MAP 估计可以表示为，其中为 MAP 估计中的参数。进而如果将 CNN 看作 MAP 估计另一种形式的解，那么有如下结论： 1)    由于数据保真项对应着 SISR 的退化过程，因此退化过程的准确建模对 SISR 的结果起着至关重要的作用。然而现有的基于 CNN 的方法其目标是求解下面的问题,。由于没有将模糊核和噪声等因素考虑在内，因此其实用性非常有限。 2)    为了设计更加有效的基于 CNN 的 SISR 模型，应该将更多的图像退化类型考虑在内，一个简单的思路就是将模糊核 k 和噪声水平也作为网络的输入。由于权衡参数可以融入噪声水平之中，因此 CNN 映射函数可以简化成如下形式： 3)    由于 MAP 估计中大部分的参数都对应着图像先验部分，而图像先验是与图像退化过程不相关的，因此单一的 CNN 模型具有处理不同退化类型的建模能力。 通过上述分析可以得出非盲 SISR 应该将退化模型中的模糊核和噪声水平也作为网络的输入。然而 LR 图像、模糊核和噪声水平三者的维度是不同的，因此不能直接作为 CNN 的输入。为此本文提出了一种维度拉伸策略。假设 LR 图像大小为，首先将向量化的模糊核 PCA 降维，然后和噪声水平并在一起得到一个t+1维的向量 v，接着将v拉伸为维的张量，我们将此张量称之为退化图（Degradation Maps），其中第i个图的所有元素均为。 图 1：维度拉伸示意图。 至此，我们可以将退化图和 LR 图像合并在一起作为 CNN 的输入。为了证明此策略的有效性，选取了快速有效的 ESPCN 超分辨网络结构框架。值得注意的是为了加速训练过程的收敛速度，同时考虑到 LR 图像中包含高斯噪声，因此网络中加入了 Batch Normalization 层。 图 2 给出了提出的超分辨率网络（简称 SRMD）结构框架。 图 2：提出的超分辨率网络结构框架（卷积层数为 12，每层通道数为 128）。 4．实验 在训练阶段，SRMD 采用了各向同性和各向异性的高斯模糊核、噪声水平在 [0, 75] 之间的高斯白噪声以及 bicubic 降采样算子。需要指出的是 SRMD 可以扩展到其它降采样算子，甚至其它退化模型。 在测试阶段，SRMD 比较了不同方法在同为 bicubic 降采样退化下的 PSNR 和 SSIM 结果（如表 1 所示）。可以看出虽然 SRMD 是用来处理各种不同的退化类型，但是仍然在 bicubic 降采样退化下取得不错的效果。需要指出的是 SRMD 在速度上也有很大的优势，在 Titan Xp GPU 上处理 512 × 512 的 LR 图像仅需 0.084 秒，是 VDSR 超分辨率两倍所用时间的一半。表 2 给出了不同退化类型下的 PSNR 和 SSIM 结果比较，可以看到 SRMD 同样取得了不错的效果。图 4 举例说明了 SRMD 可以设定非均匀退化图，进而可以处理退化空间不均匀的 LR 图像。最后，图 5 展示了不同方法在真实图像上的视觉效果比较，可以看到 SRMD 复原的 HR 图像在视觉效果上明显优于其它方法。 表 1：不同方法在 bicubic 降采样退化下的 PSNR 和 SSIM 结果比较（其中 SRMDNF 表示不考虑噪声情况下训练得到的模型）。 图 3：不同方法在 bicubic 降采样退化下超分辨率四倍的视觉效果比较。 表 2：不同方法在不同退化类型下的 PSNR 和 SSIM 结果比较。 图 4：举例说明 SRMD 可以处理退化空间不均匀的情形。（a）噪声水平以及模糊核宽度的空间分布；（b）LR 图像（最近邻插值放大）；（c）复原得到的 HR 图像（放大两倍）。 图 5：不同方法在 SISR 经典测试图像「Chip」上超分辨率四倍的视觉效果比较。 5．结论 最后总结一下，本文的主要贡献有三个方面： 提出了一种简单、有效、可扩展的超分辨率模型，其不仅可以处理 bicubic 降采样退化模型，并且可以处理多个甚至是退化空间不均匀的退化类型，为 SISR 实际应用提供了一种解决方案。 提出了一种简单有效的维度拉伸策略使得卷积神经网络可以处理维度不同的输入，此策略可以扩展到其他应用。 通过实验展示了用合成图像训练得到的超分辨网络模型可以有效的处理真实图像复杂的退化类型。 ]]> 原文： https://ift.tt/2jWrIhn 机器知心

从0自学成AI高手，她只用了一个产假

王小新 问耕 发自 凹非寺量子位 出品 | 公众号 QbitAI 这是一个励志（但并非鸡汤）的故事。 上面这位母亲，名叫Nicole Finnie，现在是一位AI高手。前不久，她从全球数千人参与、奖金10万美元的DSB（Data Science Bowl）年度大赛中脱颖而出，赢得一枚银牌。 这件事的励志之处在于，Nicole一年前还没有接触过机器学习和数据科学。 更励志之处在于，她竟然是在休产假带娃期间，从零开始，自学成才。 休产假、带娃……你只有经历过，才知道这意味着什么。 确实佩服。 但，为什么要在休产假的时候开始学机器学习？原因并不复杂。 "最初，我想为宝贝女儿做一个在线物体识别的应用程序，所以开始对深度学习感兴趣。"Nicole Finnie解释说。 效果怎么样？ "现在，刚一岁的她喜欢拿着我的手机玩个不停。"（高级高级。） 那么Nicole Finnie是怎么从0自学成才的呢？ 且看下面这个—— 自学宝典 首先，感谢吴恩达老师。 Nicole Finnie自学的起点，就是吴恩达的机器学习课程。她之所以自学吴恩达的课程，也是因为工作中带的学生，也在Coursera上跟随吴恩达学习。 Coursera是吴恩达参与创办的在线教育平台。吴恩达在这个平台上开设的课程主要包括两个，我们也给一下传送门。 机器学习：https://ift.tt/1aQjwZG 深度学习：https://ift.tt/2vLAXJh 当然，只是从这里入门，需要学习和练习的还有很多。比如Nicole Finnie在为女儿搭建物体识别AI时，参考了GitHub上的Tensorflow源码，并使用预训练好的YOLO v2模型构建了这个应用程序。 其次，感谢德国劳动法。 根据新华社的报道，"德国人认为，孩子出生头３年最需要父母陪伴，应创造更多机会，让初为人父母者与孩子在一起。" 所以，德国的带薪产假大约是一年时间。 "感谢德国的劳动法，我有一个较长的带薪产假。我是一个闲不住的人，所以当我的宝宝小睡时，每次可能只有20分钟，我会花时间上网学习机器学习，虽然那时我也很困。"Nicole Finnie说。 最后，感谢过去的自己。 虽然在机器学习这件事上是从零开始。 但Nicole Finnie并非没有基础。实际上，她本科毕业于台湾大学，随后又考入德国斯图加特大学获得硕士学位。 求学期间，她一直研究计算机、软件工程等领域。目前她已经供职于IBM八年多，现在是IBM德国研发中心的一名软件工程师。 过去积累最大的帮助，就是能让Nicole Finnie快速地把想法转化为代码。 大赛摘银 直到两个月前，Nicole Finnie才第一次从同事口中听说Kaggle。当时，这位组里的首席数据科学家要在实验室创建一个新的机器学习项目，他建议一起上Kaggle找下有关项目。 后来，她组队参加了DSB大赛。 为什么首次参赛就能获得好成绩？她总结了几点。 首先，我们从Kaggle论坛寻找有关信息来产生一些可能想法，然后通过阅读学术论文进一步研究这些想法。当我觉得某个方法可能会可行时，我会花很多时间来研究并实现它。当你有了一些思路，一定要结合不同研究论文和网上资源来实现这个算法，这点很可能让你从众多参赛者中脱颖而出。还有一点，你一定要选择参加你感兴趣的比赛。 Nicole Finnie也详细回顾了比赛过程。 因为这是一个图像分割竞赛，我尝试了多种不同的CNN组合，也尝试了不同输出通道和不同后期处理方法的结合，并根据本地模型效果来选择最佳模型。在第一阶段的最后一周，我写了一个自动化程序来测试多种数据增强方法对模型训练的影响。在最后3天，我们的一个远程同事@CPMP加入了我们团队，他是一位Kaggle大师。他建议我们使用加权多数投票（weighted majority voting）来集成3个最优模型，这使得我们最终模型的鲁棒性和泛化能力更强。 他们这个团队里，还包括组里的数据科学家@hafeneger和@alexec，以及Nicole的丈夫@jliamfinnie。每周他们都会碰面一起讨论新想法。 为了这次的大赛，她会早早地哄宝宝去上床睡觉。孩子睡着后，Nicole Finnie才开始奋战Kaggle。"当然，我也喝了不少茶和咖啡来提神。讲真，我的身体很疲惫，但是比赛的兴奋劲让我继续工作。" 当然在Nicole休产假期间，她丈夫也休了育儿假。他们一起学习、一起参赛、轮流工作，当一个人奋战Kaggle时，另一个人得去照看小孩。 至于以后还会不会继续参加比赛，答案是肯定的。 但Nicole Finnie也坦言："我们参加DSB比赛后，由于GPU云计算的费用太高，所以可能得再一段时间才能参加下次图像比赛。🙂" One More Thing 有了孩子，会影响母亲的职业选择么？会更让人焦虑么？ Nicole Finnie的回答是：没有，我喜欢挑战。 "孩子给我了更多动力。当你有新想法时，她能让你意识到时间是挤出来的，要利用这宝贵时间多做些工作。我希望能成为我女儿的好榜样，并让她知道，你不需要在家庭和事业之间做出选择。" 当被问及还缺什么，她直言：来一个保姆！ 你看，一个休产假带娃的母亲都能这么勤奋的自学机器学习，想要入门的朋友别再虚度光阴，快行动起来吧~ 最后，温馨提示：今天是母亲节。 这是来自Nicole Finnie的祝福："母亲节快乐！发展你的事业，生个可爱的小孩，你也可以成为一个快乐且充实的母亲！" — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2jUa0eu RSS5

从0自学成AI高手，她只用了一个产假

王小新 问耕 发自 凹非寺量子位 出品 | 公众号 QbitAI 这是一个励志（但并非鸡汤）的故事。 上面这位母亲，名叫Nicole Finnie，现在是一位AI高手。前不久，她从全球数千人参与、奖金10万美元的DSB（Data Science Bowl）年度大赛中脱颖而出，赢得一枚银牌。 这件事的励志之处在于，Nicole一年前还没有接触过机器学习和数据科学。 更励志之处在于，她竟然是在休产假带娃期间，从零开始，自学成才。 休产假、带娃……你只有经历过，才知道这意味着什么。 确实佩服。 但，为什么要在休产假的时候开始学机器学习？原因并不复杂。 "最初，我想为宝贝女儿做一个在线物体识别的应用程序，所以开始对深度学习感兴趣。"Nicole Finnie解释说。 效果怎么样？ "现在，刚一岁的她喜欢拿着我的手机玩个不停。"（高级高级。） 那么Nicole Finnie是怎么从0自学成才的呢？ 且看下面这个—— 自学宝典 首先，感谢吴恩达老师。 Nicole Finnie自学的起点，就是吴恩达的机器学习课程。她之所以自学吴恩达的课程，也是因为工作中带的学生，也在Coursera上跟随吴恩达学习。 Coursera是吴恩达参与创办的在线教育平台。吴恩达在这个平台上开设的课程主要包括两个，我们也给一下传送门。 机器学习：https://ift.tt/1aQjwZG 深度学习：https://ift.tt/2vLAXJh 当然，只是从这里入门，需要学习和练习的还有很多。比如Nicole Finnie在为女儿搭建物体识别AI时，参考了GitHub上的Tensorflow源码，并使用预训练好的YOLO v2模型构建了这个应用程序。 其次，感谢德国劳动法。 根据新华社的报道，"德国人认为，孩子出生头３年最需要父母陪伴，应创造更多机会，让初为人父母者与孩子在一起。" 所以，德国的带薪产假大约是一年时间。 "感谢德国的劳动法，我有一个较长的带薪产假。我是一个闲不住的人，所以当我的宝宝小睡时，每次可能只有20分钟，我会花时间上网学习机器学习，虽然那时我也很困。"Nicole Finnie说。 最后，感谢过去的自己。 虽然在机器学习这件事上是从零开始。 但Nicole Finnie并非没有基础。实际上，她本科毕业于台湾大学，随后又考入德国斯图加特大学获得硕士学位。 求学期间，她一直研究计算机、软件工程等领域。目前她已经供职于IBM八年多，现在是IBM德国研发中心的一名软件工程师。 过去积累最大的帮助，就是能让Nicole Finnie快速地把想法转化为代码。 大赛摘银 直到两个月前，Nicole Finnie才第一次从同事口中听说Kaggle。当时，这位组里的首席数据科学家要在实验室创建一个新的机器学习项目，他建议一起上Kaggle找下有关项目。 后来，她组队参加了DSB大赛。 为什么首次参赛就能获得好成绩？她总结了几点。 首先，我们从Kaggle论坛寻找有关信息来产生一些可能想法，然后通过阅读学术论文进一步研究这些想法。当我觉得某个方法可能会可行时，我会花很多时间来研究并实现它。当你有了一些思路，一定要结合不同研究论文和网上资源来实现这个算法，这点很可能让你从众多参赛者中脱颖而出。还有一点，你一定要选择参加你感兴趣的比赛。 Nicole Finnie也详细回顾了比赛过程。 因为这是一个图像分割竞赛，我尝试了多种不同的CNN组合，也尝试了不同输出通道和不同后期处理方法的结合，并根据本地模型效果来选择最佳模型。在第一阶段的最后一周，我写了一个自动化程序来测试多种数据增强方法对模型训练的影响。在最后3天，我们的一个远程同事@CPMP加入了我们团队，他是一位Kaggle大师。他建议我们使用加权多数投票（weighted majority voting）来集成3个最优模型，这使得我们最终模型的鲁棒性和泛化能力更强。 他们这个团队里，还包括组里的数据科学家@hafeneger和@alexec，以及Nicole的丈夫@jliamfinnie。每周他们都会碰面一起讨论新想法。 为了这次的大赛，她会早早地哄宝宝去上床睡觉。孩子睡着后，Nicole Finnie才开始奋战Kaggle。"当然，我也喝了不少茶和咖啡来提神。讲真，我的身体很疲惫，但是比赛的兴奋劲让我继续工作。" 当然在Nicole休产假期间，她丈夫也休了育儿假。他们一起学习、一起参赛、轮流工作，当一个人奋战Kaggle时，另一个人得去照看小孩。 至于以后还会不会继续参加比赛，答案是肯定的。 但Nicole Finnie也坦言："我们参加DSB比赛后，由于GPU云计算的费用太高，所以可能得再一段时间才能参加下次图像比赛。🙂" One More Thing 有了孩子，会影响母亲的职业选择么？会更让人焦虑么？ Nicole Finnie的回答是：没有，我喜欢挑战。 "孩子给我了更多动力。当你有新想法时，她能让你意识到时间是挤出来的，要利用这宝贵时间多做些工作。我希望能成为我女儿的好榜样，并让她知道，你不需要在家庭和事业之间做出选择。" 当被问及还缺什么，她直言：来一个保姆！ 你看，一个休产假带娃的母亲都能这么勤奋的自学机器学习，想要入门的朋友别再虚度光阴，快行动起来吧~ 最后，温馨提示：今天是母亲节。 这是来自Nicole Finnie的祝福："母亲节快乐！发展你的事业，生个可爱的小孩，你也可以成为一个快乐且充实的母亲！" — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2jUa0eu RSS5

小黄狗变身小黑狗，波士顿动力SpotMini机器狗明年开卖

郭一璞 发自 麦拜德 量子位 报道 | 公众号 QbitAI 还记得昨天那只跑得飞快的SpotMini小黄狗么？ 今天，它已经换了一身毛色，变成了一只小黑狗。 在加州伯克利举行的一场TechCrunch的活动上，波士顿动力创始人Marc Raibert在舞台上遛起了狗： 这版小黑狗不仅看起来题型俊美了很多，而且走路非常安静，听不到太响的机械声。 关节灵活，颈椎非常健康。 同时，身姿柔软，体态轻盈。 运动机能强大。 重点是，这只狗子你很快就能抱回家撸了。波士顿动力创始人Marc Raibert宣布，狗子机器人SpotMini明年开卖。这是波士顿动力成立26年来，第一次开始机器人商业化进程。 SpotMini的首个应用场景会是在办公室，之后，可能会推出家用版。 狗子SpotMini出生于于去年年底，体重66磅（近30公斤），吃（充）一（一）顿（次）饭（电）可以工作90分钟。 波士顿动力正在跟他们的制造商沟通，打算先生产100只SpotMini，之后再逐渐扩大产能，以实现在2019年开卖的目标。 不过，把SpotMini抱回家，要多少钱一只呢？波士顿动力还没有想好，不过，他们现在生产一只SpotMini的成本大大降低了，只需花费此前十分之一的制造成本，所以，可能等明年量子位报道这只狗子上市的时候，大家会发现价格很美丽呢。 — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2rDkX7W RSS5

小黄狗变身小黑狗，波士顿动力SpotMini机器狗明年开卖

郭一璞 发自 麦拜德 量子位 报道 | 公众号 QbitAI 还记得昨天那只跑得飞快的SpotMini小黄狗么？ 今天，它已经换了一身毛色，变成了一只小黑狗。 在加州伯克利举行的一场TechCrunch的活动上，波士顿动力创始人Marc Raibert在舞台上遛起了狗： 这版小黑狗不仅看起来题型俊美了很多，而且走路非常安静，听不到太响的机械声。 关节灵活，颈椎非常健康。 同时，身姿柔软，体态轻盈。 运动机能强大。 重点是，这只狗子你很快就能抱回家撸了。波士顿动力创始人Marc Raibert宣布，狗子机器人SpotMini明年开卖。这是波士顿动力成立26年来，第一次开始机器人商业化进程。 SpotMini的首个应用场景会是在办公室，之后，可能会推出家用版。 狗子SpotMini出生于于去年年底，体重66磅（近30公斤），吃（充）一（一）顿（次）饭（电）可以工作90分钟。 波士顿动力正在跟他们的制造商沟通，打算先生产100只SpotMini，之后再逐渐扩大产能，以实现在2019年开卖的目标。 不过，把SpotMini抱回家，要多少钱一只呢？波士顿动力还没有想好，不过，他们现在生产一只SpotMini的成本大大降低了，只需花费此前十分之一的制造成本，所以，可能等明年量子位报道这只狗子上市的时候，大家会发现价格很美丽呢。 — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2rDkX7W RSS5