About Research

这个领域里,什么都特别快.

三个月前看到Bengio组的BinaryConnect. 脸草的同事都很喜欢模型加速/压缩的主题,因此立刻就重现了结果开始改进. 当时就说要做成Binary Activation,并且搞一个GPU runtime. 正当同事们回家过年,我在yy这学期parallel大作业要不就写这个runtime的时候,昨天看到Bengio新的paper挂出来,已经都做完了. 更夸张的是,在前天arxiv挂了另一篇文章,方法基本一样.

三个月,能专心做的话并不难,然而我要应付作业,要去oculus写代码,还有其他好玩的东西在分心. 想着有空慢慢做的时候,别人已经不等你了.

一个月前Yuandong学长说可以来FAIR跟他做围棋. 目前的CNN方法很promising,问题本身也很酷,觉得是个好项目. 然而过几天DeepMind出来说,我们早都做差不多了,三月份韩国比赛,指不定就problem solved了. 我都不知道该期待李世乭赢还是输.

看了一篇博文和Yuandong学长的专栏, 感慨万千. DeepMind的paper看下来,很多人说没看到新鲜的东西. 用CNN做估值不算难以想到的idea, 用SL和RL的结合听上去像是很实验性的结果. 然而DeepMind有一帮有时间的人,有钱有系统, 能够把整个流程中每一个模块都做到比别人好,再辅以极致的工程规模,把问题给解决, 上了nature封面. 而我们只能在家里看paper.

这就是"恨自己没有三头六臂"的感觉了,别人都跑的太快. 大半年前,我在脸草敲着theano头疼的高阶张量打算加速刚写好的affine transform layer的时候, Jaderberg发了Spatial Transformer的arxiv, 把手头正在做的东西全做完了, 速度合理结果丰富. 也是差不多的感觉. 还有KFC做完之后乔治发现了Tensor Train Network, idea有类似之处, 正说着"还好这次比你发的早", 结果发现人家已经中了NIPS, 也是差不多的感觉.

然而另一方面,我又庆幸自己看的见这一切发展的这么快,同时还能勉强跟得上一些部分.

图灵最遗憾之处,在于他没能看到他捣鼓的那个机器,被发展成了什么样. 豆瓣有一段图灵传的书评,每看一次都唏嘘不已:

今天0点到来的时候,我在CogSci和别人讨论问题。我说,我插一句,我的时区现在是2012年6月23日0点,艾伦图灵100岁生日快乐。

正在讨论问题的人,除了我之外,还有一个研究量子计算的学者,一个机器学习的,一个数学的。他们都停下来,祝你生日快乐。你会兴奋嘛?百年之后,晚辈们在搞这些好玩的东西。

可你却是最悲伤的故事。

科学家的幸福,就是自己栽一棵树,然后有人伺候它。最大的幸福,则是自己能活着,看到这棵树长大。莱特兄弟的第一架飞机,飞行距离还不如现代飞机的翼展,但是奥维尔·莱特在临终前,看到了超音速飞机上天。彼时彼刻,他回想自己当年那个破玩意儿,一定会兴奋地笑起来。

可是你呢。你给计算机科学播下种子,然后你走了,什么都没来得及看到。你播的种子,全都发芽了,开花了,请你看看呀!晚辈们,没负你呀!

Marvin Minsky前些日子才去世. 他最后几年里,看到如今的AI,不知道会怎么想呢.

普通如我, 作为仅仅看了两年paper的半个researcher, 也已经对如今的一切兴奋不已了. 即使很可能做不出什么significant的贡献,单单是对未来技术的幻想,也足以支撑我继续关注着research. 十年后,想想自己十年前看的傻paper,一定也会笑起来.

这是一个特别快的领域. 在这里, 黎曼不需要等一百年才能看到物理世界居然符合他的几何; 希尔伯特不需要穿越到百年后询问黎曼猜想是否得证; 爱因斯坦不需要等一百年去确认上帝掷不掷色子,或是引力波究竟是否存在; 图灵不需要等一百年来看看计算机的发展; 丘成桐不会等上几十年也不知道宇宙是否符合Calabi-Yau流形.

的确,这些问题比AI更重要,我崇拜做这些问题的人. 但遗憾的是这些问题太慢, 有几个人愿意做有生之年看不到答案的问题.

十个小时后, LIGO将召开发布会, 宣布引力波的观测结果. 一个所有人期待了几十年,如今终于发现的结果.

一个月后, Google AlphaGo将对阵围棋世界冠军李世乭. 一个所有人以为十年后才会发生,却提前发生了的棋局.

这是一个好的时代.


Comments