About Research

这个领域里, 什么都特别快.

三个月前看到 Bengio 组的 BinaryConnect. 脸草的同事都很喜欢模型加速 / 压缩的主题, 因此立刻就重现了结果开始改进. 当时就说要做成 Binary Activation, 并且搞一个 GPU runtime. 正当同事们回家过年, 我在 yy 这学期 parallel 大作业要不就写这个 runtime 的时候, 昨天看到 Bengio 新的 paper 挂出来, 已经都做完了. 更夸张的是, 在前天 arxiv 挂了另一篇文章, 方法基本一样.

三个月, 能专心做的话并不难, 然而我要应付作业, 要去 oculus 写代码, 还有其他好玩的东西在分心. 想着有空慢慢做的时候, 别人已经不等你了.

一个月前 Yuandong 学长说可以来 FAIR 跟他做围棋. 目前的 CNN 方法很 promising, 问题本身也很酷, 觉得是个好项目. 然而过几天 DeepMind 出来说, 我们早都做差不多了, 三月份韩国比赛, 指不定就 problem solved 了. 我都不知道该期待李世乭赢还是输.

看了一篇博文和 Yuandong 学长的专栏, 感慨万千. DeepMind 的 paper 看下来, 很多人说没看到新鲜的东西. 用 CNN 做估值不算难以想到的 idea, 用 SL 和 RL 的结合听上去像是很实验性的结果. 然而 DeepMind 有一帮有时间的人, 有钱有系统, 能够把整个流程中每一个模块都做到比别人好, 再辅以极致的工程规模, 把问题给解决, 上了 nature 封面. 而我们只能在家里看 paper.

这就是 "恨自己没有三头六臂" 的感觉了, 别人都跑的太快. 大半年前, 我在脸草敲着 theano 头疼的高阶张量打算加速刚写好的 affine transform layer 的时候, Jaderberg 发了 Spatial Transformer 的 arxiv, 把手头正在做的东西全做完了, 速度合理结果丰富. 也是差不多的感觉. 还有 KFC 做完之后乔治发现了 Tensor Train Network, idea 有类似之处, 正说着 "还好这次比你发的早", 结果发现人家已经中了 NIPS, 也是差不多的感觉.

然而另一方面, 我又庆幸自己看的见这一切发展的这么快, 同时还能勉强跟得上一些部分.

图灵最遗憾之处, 在于他没能看到他捣鼓的那个机器, 被发展成了什么样. 豆瓣有一段图灵传的书评, 每看一次都唏嘘不已:

今天 0 点到来的时候，我在 CogSci 和别人讨论问题。我说，我插一句，我的时区现在是 2012 年 6 月 23 日 0 点，艾伦图灵 100 岁生日快乐。

正在讨论问题的人，除了我之外，还有一个研究量子计算的学者，一个机器学习的，一个数学的。他们都停下来，祝你生日快乐。你会兴奋嘛？百年之后，晚辈们在搞这些好玩的东西。

可你却是最悲伤的故事。

科学家的幸福，就是自己栽一棵树，然后有人伺候它。最大的幸福，则是自己能活着，看到这棵树长大。莱特兄弟的第一架飞机，飞行距离还不如现代飞机的翼展，但是奥维尔・莱特在临终前，看到了超音速飞机上天。彼时彼刻，他回想自己当年那个破玩意儿，一定会兴奋地笑起来。

可是你呢。你给计算机科学播下种子，然后你走了，什么都没来得及看到。你播的种子，全都发芽了，开花了，请你看看呀！晚辈们，没负你呀！

Marvin Minsky 前些日子才去世. 他最后几年里, 看到如今的 AI, 不知道会怎么想呢.

普通如我, 作为仅仅看了两年 paper 的半个 researcher, 也已经对如今的一切兴奋不已了. 即使很可能做不出什么 significant 的贡献, 单单是对未来技术的幻想, 也足以支撑我继续关注着 research. 十年后, 想想自己十年前看的傻 paper, 一定也会笑起来.

这是一个特别快的领域. 在这里, 黎曼不需要等一百年才能看到物理世界居然符合他的几何; 希尔伯特不需要穿越到百年后询问黎曼猜想是否得证; 爱因斯坦不需要等一百年去确认上帝掷不掷色子, 或是引力波究竟是否存在; 图灵不需要等一百年来看看计算机的发展; 丘成桐不会等上几十年也不知道宇宙是否符合 Calabi-Yau 流形.

的确, 这些问题比 AI 更重要, 我崇拜做这些问题的人. 但遗憾的是这些问题太慢, 有几个人愿意做有生之年看不到答案的问题.

十个小时后, LIGO 将召开发布会, 宣布引力波的观测结果. 一个所有人期待了几十年, 如今终于发现的结果.

一个月后, Google AlphaGo 将对阵围棋世界冠军李世乭. 一个所有人以为十年后才会发生, 却提前发生了的棋局.

这是一个好的时代.