TL;DR: How to find out if your favorite deep learning library is occasionally giving you wrong results? Such bugs happen from time to time, and are extremely difficult to notice, report, and debug.

Python's package management is a mess. I'm involved in a few open source projects and I often help users address their environment & installation issues. A large number of these environment issues essentially come down to incorrectly / accidentally mixing multiple different python environment together. This post lists a few common pitfalls and misconceptions of such.

安全比赛 Geekpwn 今年开始强调 "人工智能安全", 办了一个 CAAD 对抗样本攻防赛. 这让我在多年没碰 CTF 之后又有了一个 CTF 的机会, 只是这次攻击的是 ImageNet 分类器..

House3D 是一个用于 research 的交互式 3D 环境. 用户可以载入一个来自 SUNCG 数据集的房子的模型, 然后在里面走来走去, 并获得 first-person view 的图片输入.

我写了 House3D 的渲染代码, 过程中踩到了不少神奇的坑, 坑踩的多了就觉得干脆记下来吧.

TL;DR: People are hardly aware of any deep learning mistakes they made, because things always appear to work, and there are no expectations on how well they should work. The solution is to try to accurately reproduce settings & performance of high-quality papers & code.

因为工作原因, 第一次开始尝试使用 macOS. 这里列一下一些主要的问题, 方便从 GNU/Linux 切换过来的的时候参考. 有了解决方案或新的问题我会继续更新. 这里的问题有一些只是习惯不一致, 我可以通过在 Linux 上配置新的使用习惯来调整自己, 另外一些则是功能缺失.

现在还没决定要不要长期用下去, 因为以下不少问题还解决不好. 当然 macOS 的优点也很明显: 能够使用 outlook 客户端处理公司邮件 / calendar (这是关键原因); UI 好看 (主要是字体渲染); 不容易出硬件问题 (连不上 wifi / 投影之类的). 所以用于日常开会处理邮件到处跑比较方便, 可能不会用来写很多代码.

1

一眨眼就已经毕业了, 在 CMU 呆了一年半, 大概只做了三件事情.

• 第一个学期又看了一点 geometry, 然后趁机把全景拼接整体上做的科学了. 尤其是写了 BA 之后, 能把理论上该拼好的图都拼好了.

• 写了一个 tensorpack. 主要是离开了贵司之后发现基本找不到可用的炼丹炉前端, 就在 TensorFlow 发布之后开始造了一个. 当然现在还是缺很多 feature (以及背后的 system), 不能满意的 scale 起来, 最多只能跑跑 ImageNet.

• 赢了 ViZDoom 的比赛并且发了篇 paper, 搞了个小新闻.

如果说还有一点什么成绩, 那就是做了一些低精度网络的东西. 但这些都是次要的, 很惭愧, 就做了一点微小的工作.

这个领域里, 什么都特别快.

三个月前看到 Bengio 组的 BinaryConnect. 脸草的同事都很喜欢模型加速 / 压缩的主题, 因此立刻就重现了结果开始改进. 当时就说要做成 Binary Activation, 并且搞一个 GPU runtime. 正当同事们回家过年, 我在 yy 这学期 parallel 大作业要不就写这个 runtime 的时候, 昨天看到 Bengio 新的 paper 挂出来, 已经都做完了. 更夸张的是, 在前天 arxiv 挂了另一篇文章, 方法基本一样.

三个月, 能专心做的话并不难, 然而我要应付作业, 要去 oculus 写代码, 还有其他好玩的东西在分心. 想着有空慢慢做的时候, 别人已经不等你了.

This is a summary of the algorithms I used to write OpenPano: an open source panorama stitcher. You can find the source code on github.

迟来的流水账 Year Review.

1 月放假之后没回家心里想的是待到 SIGGRAPH deadline 但其实最后几天反正也没我什么事... 看了几天书到过年前一周回家.

回家开始背 GRE 单词, 先翻韦小绿翻到一半觉得效率太低开始刷 3000. 刷到一大半这时候大过年的突然听说有 Facebook 新加坡 Hackathon, 于是折腾报名, 各种材料, 跑上海办签证还被拒, 等等事情一周, 最终成功去新加坡土豪游一圈经雅加达回北京.