2016年深度学习读书会

来自集智百科
跳转到: 导航搜索

作为从事学术研究、享受科学乐趣的探索者的团体集智俱乐部一直走在知识的前沿,对人工智能的研究由来已久。回顾我们的时间轴,我们在人工智能方向已经走了很远。早在 2012 年 2 月深度学习革命刚刚开始的时候,我们已经组织过相关内容的读书会。而 2013 年 7 月到 2014 年 1 月的一期“探索脑与深度学习”读书会,更是孕育出了彩云天气这样的创业项目。 2015 年 4 月到2015年5月的“高级认知相关的深度学习”读书会更是将深度学习这个主题推向了高潮,追踪了当前的前沿进展。

现在,我们站在了2016年人工智能的风口。经过长期筹划,我们将举办一期全新的深度学习读书会。本次读书会以回顾经典模型、研读最新进展为主。我们希望通过这次读书会活动,能够汇集江湖中的各路英雄,让知识的碰撞擦出创意的火花,并最终催生更多的人工智能产品创意。

目录

读书会大纲

主题 内容
深度学习概览(1 次) 从系统科学的角度概览综述深度学习进展(主讲人:张江-北京师范大学复杂系统学院)
深度卷积神经网络(1~2 次) 卷积神经网络(Convolutional Neural Networks)介绍,在图像处理、自然语言处理中的应用。扩展主题:图卷积神经网络(Graphics Convolutional Neural Network)
深度回归神经网络(1~3 次) 回归神经网络(Recurrent Neural Network)、LSTM等内容介绍,在机器翻译、自然语言处理方面的应用
相关理论专题研讨(2~5 次) 注意力机制、记忆机制、神经图灵机、强化学习、对抗生成网络等
相关理论专题研讨(2~5 次) 机器视觉、自然语言处理、复杂网络、计算创造性等

读书会记录

为什么复杂系统需要深度学习

  • 时间: 2016 年 11 月 13 日 14:30-17:00
  • 主讲: 张江
  • 简介: 本期读书会系统地梳理了复杂性科学研究的历史以及深度学习技术的发展趋势,以丰富的案例汇总深度学习在复杂性科学研究中的应用,包括用迁移学习技术抗击贫困,从 Word2Vec 到 DeepWalk,从 TransE,TransR 模型,到自然语言处理对复杂性研究的启发,从图卷积神经网络到复杂网络的识别与预测问题,以及如何运用深度学习技术改良多主体建模方法,从而实现高精准的复杂系统模型。最后就“为什么复杂系统研究需要深度学习”这个主题展开讨论。

参考文献

  • Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012.
  • Kalchbrenner N, Grefenstette E, Blunsom P. A Convolutional Neural Network for Modelling Sentences[J]. Eprint Arxiv, 2014, 1.
  • Alexey Dosovitskiy, Thomas Brox. Inverting Visual Representations with Convolutional Networks. 2015. arXiv preprint.
  • Michael Edwards and Xianghua Xie: Graph Convolutional Neural Network, http://www.bmva.org/bmvc/2016/papers/paper114/paper114.pdf
  • Alexey Dosovitskiy, Thomas Brox. Inverting Visual Representations with Convolutional Networks. 2015. arXiv preprint.
  • Lipton Z C, Berkowitz J, Elkan C. A Critical Review of Recurrent Neural Networks for Sequence Learning[J]. Computer Science, 2015.
  • Andrej Karpathy, Justin Johnson, Li Fei-Fei. Visualizing and Understanding Recurrent Networks. NIPS 2015.
  • A Graves, G Wayne: Hybrid computing using a neural network with dynamic external memory, Nature 2016
  • Andrychowicz, M., & Kurach, K. (2016). Learning Efficient Algorithms with Hierarchical Attentive Memory. arXiv preprint arXiv:1602.03218.
  • Graves, A., Wayne, G., & Danihelka, I. (2014). Neural turing machines. arXiv preprint arXiv:1410.5401.
  • Graves, A. (2016). Adaptive Computation Time for Recurrent Neural Networks. arXiv preprint arXiv:1603.08983.
  • Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhutdinov, R., Zemel, R.S. & Bengio, Y., 2015. (2015). Show, attend and tell: Neural image caption generation with visual attention. arXiv preprint arXiv:1502.03044, 2(3), 5.
  • Zaremba, W., & Sutskever, I. (2015). Reinforcement learning neural Turing machines. arXiv preprint arXiv:1505.00521, 362.
  • Kumar, A., Irsoy, O., Su, J., Bradbury, J., English, R., Pierce, B., Ondruska, P., Gulrajani, I. & Socher, R., (2015). Ask me anything: Dynamic memory networks for natural language processing. arXiv preprint arXiv:1506.07285.
  • Kurach, K., Andrychowicz, M., & Sutskever, I. (2015). Neural random-access machines. arXiv preprint arXiv:1511.06392.
  • Neelakantan, A., Le, Q. V., & Sutskever, I. (2015). Neural programmer: Inducing latent programs with gradient descent. arXiv preprint arXiv:1511.04834.
  • Olah, C. (2015). Understanding LSTM Networks.
  • Geoffrey Hinton, Oriol Vinyals, Jeff Dean. Distilling the Knowledge in a Neural Network. NIPS 2014.
  • Goodfellow I, Pougetabadie J, Mirza M, et al. Generative Adversarial Nets[J]. Advances in Neural Information Processing Systems, 2014:2672-2680.
  • Bryan Perozzi, Rami Al-Rfou', Steven Skiena. DeepWalk: online learning of social representations. KDD 2014.
  • Memory Network 相关
  • Marcin Andrychowicz, Misha Denil, Sergio Gomez, et al. (2016). Learning to learn by gradient descent by gradient descent. arXiv preprint arXiv:1606.04474
个人工具
名字空间
操作
导航
工具箱