2019凯风研读营

来自集智百科
2019年3月29日 (五) 16:36Jake讨论 | 贡献的版本

跳转到: 导航搜索

目录

主题:网络、几何与机器学习

“网络、几何与机器学习”研读营是由集智俱乐部主办,凯风基金会资助的“复杂系统的信息物理研讨会”系列活动的第三期。我们计划将于2019年6月举行的为期5天的前沿文献研读、讨论的活动,主题范围涵盖:复杂网络、统计物理、量子物理与机器学习。其目的是为了从这些前沿科学领域获得新的研究灵感以及促进集智科学家成员之间的彼此互动、交流,从而孕育全新的科研思想。


背景

网络、几何与机器学习研讨会旨在把握当前前沿物理学与人工智能的发展趋势与本质。一方面,复杂网络模型可以用于理解时空的本源,也可以构建复杂的神经网络,模拟大脑的思维。另一方面,网络是几何学的进一步延伸与拓展,我们利用几何化的思路来抓住网络背后的简单原理,机器学习则是一种必要的技术。 传统的社会科学研究的一个主要目标是模仿自然科学把社会活动及其背后的原理运用数学进行定量化。近年来在科学界掀起的注重关系而非实体的思潮可能给这种社会科学-自然科学的交融的产生很大的影响,从而产生新的研究范式。这种范式注重数据分析和社会活动所依托的复杂网络,运用近年来在人工智能领域很有可能在不远的将来颠覆以往的社会科学的研究方式。因此,本研讨会的研讨结果将有可能对社会科学研究产生重要的作用。

本届研读营是对2016年第一届研读营的延伸讨论,主题涉及:张量网络、深度学习、消息传播算法等

参加人员

  • 张江,北京师范大学系统科学学院教授,集智俱乐部创始人、集智AI学园创始人,研究兴趣包括:复杂系统、集体注意力流、流网络、异速生长律等。
  • 张潘,中国科学院理论物理研究所副研究员,集智科学家,研究方向为统计物理与复杂系统,具体来说是用统计物理中的一些理论如自旋玻璃理论,副本对称破缺理论研究应用数学,网络和计算机科学中的一些问题。张潘的研究兴趣广泛,涉及物理,统计,网络和机器学习的很多方面并且在不断地拓宽自己的研究领域。
  • 尤亦庄,加州大学圣地亚哥分校助理教授,集智科学家,主要研究领域是量子多体物理,关注集体行为导致的演生现象和临界现象。对信息论(特别是量子信息),复杂系统,人工智能等领域也很感兴趣。
  • 吴令飞,芝加哥大学计算中心知识实验室博士后,集智俱乐部核心成员、集智科学家,社会科学背景但自我定位成物理学家。研究兴趣:注意力动力学和知识生产(Attention dynamics and knowledge production)。目前在研究的项目是科学家的跨学科注意力流动。
  • 苑明理,北京彩彻区明公司软件工程师,集智核心成员,数学系毕业、程序员生涯,年龄渐长,但对许多事情仍然充满好奇和困惑。因维基对知识工程发生兴趣,想去探寻知识大厦搭建之道。通过一些长期的思考,认为知识表示的几何化有助于揭示概念创生过程的秘密。
  • 李林倬,芝加哥大学在读博士生,研究兴趣为使用词向量模型等计算方法研究公共知识生产与意识形态形成与演化。
  • 章彦博,亚利桑那州立大学复杂系统博士在读,研究方向为因果涌现、意识理论,以及化学合成路径与生命起源之关系。同时也对深度学习、复杂网络颇感兴趣。个人主页
  • 张章,北京师范大学系统科学学院科研助理,研究兴趣集中于深度学习和复杂网络的交叉领域,目前在进行使用机器学习方法进行网络重构等工作。个人主页
  • 崔浩川,北京师范大学系统科学学院博士在读。研究兴趣:复杂系统、知识社会学。目前在研究的项目是科学壁垒的形成与科学系统的演化。

基本信息

  • 时间:2019年6月7日-6月12日
  • 地点:大理

日程安排

条目 第一天 第二天 第三天 第四天 第五天
初步计划
主讲人
上午
下午


说明

  • 先按照负责人制把基本的活动安排分配下去,每位负责人负责自己的时间段,可以自己讲,也可以邀请与会者来讲

详细内容安排

尤亦庄

  • 主题

这里填入要讲的主题

  • 参考资料

这里放上参考资料和文献


吴令飞

  • 主题

这里填入要讲的主题

  • 参考资料

这里放上参考资料和文献


张潘

  • 主题

这里填入要讲的主题

  • 参考资料

这里放上参考资料和文献

张江

  • Learning Discrete Operators by Gradient Back Propagation

The triumph of deep learning technology has enabled us to learn very complex functions in various backgrounds via image recognition to natural language processing. The platforms like Tensorflow and pytorch further accelerate the progress of deep learning programming by automating the computation of gradient on complex structures. However, the requirement of the differentialability blocks the wide applications of automatic gradient computation because non-differential operators, such as sampling, permutation, selection, indexing, and so forth widely exists in programs. Although the conventional reinforcement learning algorithm like policy gradient my alleviates the suffering of non-differentialability in some sense, the slow speed of computation and the requirement of complicated skills made it difficult to apply. While, recently, researchers have invented several tricks like gumbel softmax, sinkhorn gumbel, and soft indexing to tackle the problem of non-differentialability, by carefully devising the computation process, we can do sampling, permutation, and indexing various objects with gradients. In this talk, I would like to introduce these methods and some applications.

  • 参考资料

- Categorical Reparameterization with Gumbel-Softmax, arXiv:1611.01144 - LEARNING LATENT PERMUTATIONS WITH GUMBEL- SINKHORN NETWORKS, arXiv:1802.08665v1 - Learning sparse transformations through backpropagation, arXiv:1810.09184v1 -

个人工具
名字空间
操作
导航
工具箱