“2020集智凯风研读营”的版本间的差异

来自集智百科
跳转到: 导航搜索
Diffusion
Othoganality
第74行: 第74行:
  
 
====Othoganality ====
 
====Othoganality ====
 
===Othoganality===
 
sparse coding
 
 
https://en.wikipedia.org/wiki/Sparse_dictionary_learning#:~:text=Sparse%20coding%20is%20a%20representation,and%20they%20compose%20a%20dictionary.
 
 
https://arxiv.org/pdf/1601.03764.pdf
 
  
 
=== 主办方介绍 ===
 
=== 主办方介绍 ===

2020年6月9日 (二) 05:11的版本

目录

主题:面向复杂系统的人工智能

“网络、几何与机器学习”研读营是由集智俱乐部主办,凯风基金会资助的“面向复杂系统的人工智能研究”系列活动的第三期。我们计划将于2019年8月举行的为期5天的前沿文献研读、讨论的活动,主题范围涵盖:复杂网络、统计物理、量子物理与机器学习。其目的是为了从这些前沿科学领域获得新的研究灵感以及促进集智科学家成员之间的彼此互动、交流,从而孕育全新的科研思想。

背景

网络、几何与机器学习研讨会旨在把握当前前沿物理学与人工智能的发展趋势与本质。一方面,复杂网络模型可以用于理解时空的本源,也可以构建复杂的神经网络,模拟大脑的思维。另一方面,网络是几何学的进一步延伸与拓展,我们利用几何化的思路来抓住网络背后的简单原理,机器学习则是一种必要的技术。 传统的社会科学研究的一个主要目标是模仿自然科学把社会活动及其背后的原理运用数学进行定量化。近年来在科学界掀起的注重关系而非实体的思潮可能给这种社会科学-自然科学的交融的产生很大的影响,从而产生新的研究范式。这种范式注重数据分析和社会活动所依托的复杂网络,运用近年来在人工智能领域很有可能在不远的将来颠覆以往的社会科学的研究方式。因此,本研讨会的研讨结果将有可能对社会科学研究产生重要的作用。

本届研读营是对2016年第一届研读营的延伸讨论,主题涉及:张量网络、深度学习、消息传播算法等

参加人员

  • 张江,北京师范大学系统科学学院教授,集智俱乐部创始人、集智AI学园创始人,研究兴趣包括:复杂系统、图网络、集体注意力流、流网络、异速生长律等。
  • 张潘,中国科学院理论物理研究所副研究员,集智科学家,研究方向为统计物理与复杂系统,具体来说是用统计物理中的一些理论如自旋玻璃理论,副本对称破缺理论研究应用数学,网络和计算机科学中的一些问题。张潘的研究兴趣广泛,涉及物理,统计,网络和机器学习的很多方面并且在不断地拓宽自己的研究领域。
  • 尤亦庄,加州大学圣地亚哥分校助理教授,集智科学家,主要研究领域是量子多体物理,关注集体行为导致的演生现象和临界现象。对信息论(特别是量子信息),复杂系统,人工智能等领域也很感兴趣。
  • 吴令飞,匹兹堡大学助理教授,集智俱乐部核心成员、集智科学家,社会科学背景但自我定位成物理学家。研究兴趣:注意力动力学和知识生产(Attention dynamics and knowledge production)。目前在研究的项目是科学家的跨学科注意力流动。

基本信息

  • 时间:待定
  • 地点:待定

日程安排

待定

研讨主题

此处写各位老师希望解读的论文,考虑到宣传的需要,希望老师可以在每篇论文下附上200-300字的简要介绍。

建议这次研读营主题定为:“面向复杂系统的人工智能”

分主题:

  • 复杂系统自动建模
  • 因果推断方法
  • 技能、职业与社会分工的计算社会学

...

复杂系统的自动建模

  • Alvaro Sanchez-Gonzalez,Nicolas Heess,Jost Tobias Springenberg.et al.: Graph networks as learnable physics engines for inference and control ,arxiv,2018

这篇文章是用图网络方法进行多体系统动力学学习以及控制的经典论文

  • Thomas Kipf,Ethan Fetaya,Kuan-Chieh Wang.et al.: Neural Relational Inference for Interacting Systems ,arXiv:1802.04687, 2018.

这篇文章首次将显示地学习网络结构与系统的动力学规则结合在了一起。

  • Seungwoong Ha,Hawoong Jeong: Towards Automated Statistical Physics : Data-driven Modeling of Complex Systems with Deep Learning ,arxiv,2020

该篇将NLP中的Transformer模型中的自注意力机制应用到了多体复杂系统中的自动建模问题中来。可以学习动态的网络结构以及动力学。

  • Danilo Jimenez Rezende Shakir Mohamed: Variational Inference with Normalizing Flows, arXiv:1505.05770v6

这篇文章提出了一种新型梯度计算方法,能够更加方便、快速地对概率密度函数进行梯度计算,从而进行变分推断,目前几乎已经成为了动力学学习中的一种必备方法。

  • Fan Yang†, Ling Chen∗†, Fan Zhou†, Yusong Gao‡, Wei Cao:RELATIONAL STATE-SPACE MODEL FOR STOCHASTIC MULTI-OBJECT SYSTEMS, arXiv:2001.04050v1

这篇文章提出了一种基于状态空间的随机多体系统自动学习建模方法。

  • Ricky T. Q. Chen*, Yulia Rubanova*, Jesse Bettencourt*, David Duvenaud: Neural Ordinary Differential Equations, arXiv:1806.07366v5

这篇文章首次提出了运用最优控制原理可微分地求解常微分方程的方法,并将深度网络连续化,并视作一种动力系统,因此对深度网络的训练也被转化为一种常微分方程的求解问题。

  • Michael John Lingelbach, Damian Mrowca, Nick Haber, Li Fei-Fei, and Daniel L. K. Yamins: TOWARDS CURIOSITY-DRIVEN LEARNING OF PHYSICAL DYNAMICS, “Bridging AI and Cognitive Science” (ICLR 2020)

这是一篇提出了让机器主动干扰物理系统,从而更有效地学习物理体系规则的人工智能系统。

  • Chengxi Zang and Fei Wang: Neural Dynamics on Complex Networks, AAAI 2020

AAAI 2020的best paper,将Neural ODE与图网络结合针对复杂网络的一般的动力学西问题,利用最优控制原理进行求解。该文还将半监督节点分类问题也转化为最优控制问题,从而取得了显著的效果。

Hiden Geo of Word2Vec

Orders of associations (1st and 2nd orders)

Diffusion

word2vec is a diffusion model. This explains why it predicts the diffusion of collective attention in search of scientific knowledge. Base on the duality between dynamics on networks (Newtonian) and geometry of networks(Einsteinian), we can assume that for all network diffusion models with PMI on edges as "geo-distance", we can develop their word2vec/representative learning/manifold learning versions (actually this paper defines "effective distance" in a similar way as PMI).

Othoganality

主办方介绍

集智俱乐部

集智俱乐部,英文名:Swarma Club,成立于 2003 年,是一个从事学术研究、享受科学乐趣的探索者的团体,也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神,进行跨学科的研究与交流,力图搭建一个中国的 “ 没有围墙的研究所 ”。


凯风基金会

凯风公益基金会于2007年3月设立,是国家民政部主管的非公募公益基金会。也是首批由企业发起、国家民政部批准设立,并由国家民政部作为上级主管部门的公益基金会。凯风公益基金会主要通过机构合作方式,对在学术研究、政策研究、教育和公益实践方面获得重要成果、具备实力和潜力的学术精英和公益精英,进行资助和奖励,进而达到提升公共福利、增加公众利益、传播公益思想的目的。凯风公益基金会的战略合作伙伴包括国内外顶尖的综合性大学和研究机构、专业艺术院校、国内外一流的NGO。


2020.05.29 第二次讨论

参会人员:张江,尤亦庄,张潘,吴令飞,王婷

主题:确定此次研读营的主要时间,举行方式,主题。

成果:

  • 1、确定研读营的时间为8月份
  • 2、流程:先举办读书会,研讨相关主题,后续研读营和公开活动具体形式暂未确认
  • 3、确定研读营的主题(类似面向复杂系统的人工智能),里面的子主题可包括:动力学自动学习,因果推断,NLP相关技术等,可以都先列出来,后续归纳主题。

需要解决的问题:

  • 1、思考根据老师的算力和人力的需求,如何更好的使用研读营的钱促进科研的进展,提升科研效率。
  • 2、请各位老师将推荐的论文更新到wiki上(论文过于专业,希望老师能够简单写一段200-300字左右的简要介绍,方便筹备宣传)



2020.05.21 第一次讨论

参会人员:张江,王婷,张倩,刘培源

主题:探讨此次研读营的主要时间,参与人员,举行方式。

成果:根据国内外的情形,探讨了一些可行的措施,约张潘,张江,尤亦庄,吴令飞的时间探讨相关主题问题。

个人工具
名字空间
操作
导航
工具箱