NIPS回来，捎点和本组相关的新消息

1. deep learning已火，无前排可占了。利用model design/big data/optimization tricks，小心地避免了overfitting的大型多层神经网络各种刷新统计学习任务的正确率。这个东西没什么理论，但就是管用，所以任何做machine learning的人都不得不正视它。目前管用的dataset类型已经包括vision/speech/natural language/生物制药。号称可以learn feature invariance。

2. Josh他们的前线则是probabilistic programming，具体说来就是要把inference甚至learning推广到任何almost computable distribution（参见Daniel Roy的thesis），在generative model里核心就是计算（可计算的）inverse conditional distribution——但是这个事情在一般情况下极其困难。workshop上有从function和sample两个角度去精确或者近似计算这个conditional probability的，但是都只能在一些toy example上管用。

在我看来，concept learning依然是人类知识地图上的黑暗地带。以Josh为代表的explicit modeling的方法遇到的困难是：一般的（近似）conditional inference问题的计算复杂度还缺乏研究（仅见Daniel Roy等人开了个头），不知道是不是“更聪明的sampling+更强的计算能力”就能解决，毕竟toy example未必能推广到real-world problem。以deep learning为代表的implicit modeling的方法并没有尝试解决concept learning，但是从neural nets的representation power来看，有些concept learning问题overfitting是不可避免的。

这仍旧是人类认识自己的洪荒时代。