查看2019凯风研读营的源代码

===详细内容安排===

==== 尤亦庄 ====

* 机器学习与重整化
这里填入要讲的主题

* 参考资料
https://arxiv.org/pdf/1802.02840.pdf ；
https://arxiv.org/pdf/1903.00804.pdf；

==== 刘金国 ====

* 数值科学家的新玩物: 可自动微分的张量网络

可以自动微分的张量网络, 它可以用来解决凝聚态材料计算, 量子线路的自动设计等重要问题. 这是我在 Google Summer of Code 指导的一个项目, 基于 Julia 语言, 我们将会建立张量网络收缩的图表示论, 高效的 Einstein 求和以及在此基础之上的自动微分算法.
最后, 希望能与不同领域的人探讨这种技术对小世界模型, 对路径优化问题的启发.

* 参考资料

- Liao H J, Liu J G, Wang L, et al. Differentiable Programming Tensor Networks[J]. arXiv preprint arXiv:1903.09650, 2019.

==== 张江 ====

* Learning Discrete Operators by Gradient Back Propagation
The triumph of deep learning technology has enabled us to learn very complex functions in various backgrounds via image recognition to natural language processing. The platforms like Tensorflow and pytorch further accelerate the progress of deep learning programming by automating the computation of gradient on complex structures. However, the requirement of the differentialability blocks the wide applications of automatic gradient computation because non-differential operators, such as sampling, permutation, selection, indexing, and so forth widely exists in programs. Although the conventional reinforcement learning algorithm like policy gradient my alleviates the suffering of non-differentialability in some sense, the slow speed of computation and the requirement of complicated skills made it difficult to apply. While, recently, researchers have invented several tricks like gumbel softmax, sinkhorn gumbel, and soft indexing to tackle the problem of non-differentialability, by carefully devising the computation process, we can do sampling, permutation, and indexing various objects with gradients. In this talk, I would like to introduce these methods and some applications. 

* 参考资料
- Categorical Reparameterization with Gumbel-Softmax, arXiv:1611.01144
- LEARNING LATENT PERMUTATIONS WITH GUMBEL- SINKHORN NETWORKS, arXiv:1802.08665v1
- Learning sparse transformations through backpropagation, arXiv:1810.09184v1
-

==== 章彦博 ====

* 因果涌现与宏观态

* 参考资料

-

==== 崔浩川 ====

* Layer Reuse 和Normalization 能给Neural Network带来什么
* 学科边界的产生——从科学研究纲领与科学研究传统谈起

==== 张章 ====

* 基于松弛优化方法的最优结构设计
结构是智能涌现的基础。在复杂网络中，去重构某个存在但未知的结构，或针对某些优化目标设置最优结构对诸多下游任务和理解复杂网络本身都有重要的意义。在这里我们提出一种基于连续松弛（continuous relaxation）的优化方法，可以根据特定目标设计复杂网络的离散结构。我们发现，在一些节点互动系统中（如boolean network），模型设计的离散结构与网络的真实结构相同，因此我们可以将这种方法应用于网络重构，同时我们也可以将其应用于自动机器学习领域中的的神经模块连接结构设计等最优结构未知的问题。

* 参考资料
- Categorical Reparameterization with Gumbel-Softmax（https://arxiv.org/abs/1611.01144）
- A general Deep learning framework for Network Reconstruction (http://export.arxiv.org/pdf/1812.11482)
- Learning Discrete Structures for Graph Neural Networks (https://arxiv.org/abs/1903.11960)

==== 苑明理 ====

* 再谈自动微分

大多数深度学习教材，一般从误差的梯度回传讲起，但从链式法则入手，我们可以看到正传和反传的两种形式的可能。我们首先回顾文献里的对偶数方法，用对偶数（Dual number）为工具给出正传方案的一种实现方法。然后，我们考察一类特定的优化问题，它们以含时演化的微分方程为约束，我们将仔细研究这类问题的正传、反传和伴随，给出伴随同对偶数的关系以及伴随的几何含义。上述探讨，有助于我们进一步理解方程同神经网络的结合。

* 参考资料
** Chen, Tian Qi, Yulia Rubanova, Jesse Bettencourt and David K. Duvenaud. “Neural Ordinary Differential Equations.” NeurIPS (2018).
** Baydin, Atilim Gunes, Barak A. Pearlmutter and Alexey Radul. “Automatic differentiation in machine learning: a survey.” Journal of Machine Learning Research 18 (2015): 153:1-153:43.
** Dual number, https://en.wikipedia.org/wiki/Dual_number
** Active and passive transformation, https://en.wikipedia.org/wiki/Active_and_passive_transformation


==== 高飞 ====

* 社交网络上如何做到影响力最大化

社交网络已经是商业和政界必争之地，通过网络传播使得自己的影响最大化，从而获得最高的选票或者最多的效益。那么预算有限的基础上，怎么才能让你的影响力最大化呢？这个问题在十几年前被抽象成一个算法问题：影响力最大化问题，并建立了一个贪婪算法的框架求解。我们会回顾至今该问题的进一步进展，已有解决方案的局限之处。然后会介绍一种基于可微分优化框架的求解方法，在至关重要的影响力范围的求解问题上，介绍一种基于RNN的预测方法。

* 参考资料
** Li Y, Fan J, Wang Y, et al. Influence maximization on social graphs: A survey[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, 30(10): 1852-1872.
** Kempe D, Kleinberg J, Tardos É. Maximizing the spread of influence through a social network[C]//Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2003: 137-146.

==== 李烁辉 ====

*From EBM to flow model

This talk introduces a bottom-up view of flow model. Starts with EBM and RBM model, I will talk about how RBM is actually a "Self-GAN" EBM model. Then VAE is introduced and joined with GAN to form a so-called divergence triangle model. Then we will see this divergence triangle model is a rough approximation of flow model. At this point, we can see that flow models can be viewed a  GAN, VAE and EBM model. And from here I will introduce a flow model that is also a renormalization group method. Then we will see that neuralODE is a continue version of flow model.

* 参考资料

- https://arxiv.org/abs/1812.10907;

- https://arxiv.org/abs/1802.02840;

- https://arxiv.org/abs/1806.07366；

- https://arxiv.org/abs/1809.10188.

==== 肖达 ====

* 预训练语言模型的语义理解能力考察——从关系推理视角
以BERT为代表的预训练语言模型通过海量数据无监督训练得到自然语言的强大和通用的表征，在其上构建的模型在文本分类、问答、翻译和生成等诸多任务都取得了显著进步。然而，从认知语言学的角度考察预训练语言模型，我们尚不清楚它有多强的关系推理能力，这一人类语言理解的核心技能。关系推理按难度可分为一阶关系（实体之间或实体和属性之间，又叫常识，例如“大象比蚂蚁大”，“大象很大”）、二阶关系（关系和关系之间，又叫规则，例如“某物x放不进某物y因为某物x太大了”）和高阶关系（因果、转折、同义、反义等关系）。本报告介绍一种定量评估BERT各级关系推理能力的简单方法及其评估结果，从一个侧面反映了BERT相对于人类在语言理解上的局限，进而探讨了从模型层面增强BERT二阶和高阶关系推理能力的可能改进方案。

* 参考资料
[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.

[2] Alon Talmor, Jonathan Herzig, Nicholas Lourie and Jonathan Berant. CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge. NAACL 2019.
[3] Levesque H, Davis E, Morgenstern L. The winograd schema challenge. 13th International Conference on the Principles of Knowledge Representation and Reasoning. 2012.
[4] Weston J, Bordes A, Chopra S, et al. Towards ai-complete question answering: A set of prerequisite toy tasks[J]. arXiv preprint arXiv:1502.05698, 2015.

==== 仇玮祎 ====
* 模式生成与生命复杂性
（待填充）
* 参考资料

==== 王力飞 ====

*Capsnet在单细胞分析中的应用

* 参考资料
https://www.biorxiv.org/content/10.1101/506642v1
https://www.biorxiv.org/content/10.1101/570507v1

==== 牟牧云====

*图神经网络在交通网路中的应用
* 参考资料
https://arxiv.org/abs/1904.08831?context=cs

==== 徐绘敏 ====
* 寻找故事中的规律：基于词向量方法的计算叙事研究
介绍：人类偏爱讲故事，因为故事更能打动人或说服人。故事也是人类理解社会现实的一种形式，因而可以从故事文本中发现人类对社会结构的认知倾向。本研究将尝试采用自然语言处理和机器学习的方法来分析故事文本当中是否隐藏着普适模式，并探索故事在叙事过程中是否存在性别歧视。