2019凱風研讀營

出自集智百科
跳轉到: 導覽搜尋

目錄

主題:網絡、幾何與機器學習

“網絡、幾何與機器學習”研讀營是由集智俱樂部主辦,凱風基金會資助的“複雜系統的信息物理研討會”系列活動的第三期。我們計劃將於2019年6月舉行的為期5天的前沿文獻研讀、討論的活動,主題範圍涵蓋:複雜網絡、統計物理、量子物理與機器學習。其目的是為了從這些前沿科學領域獲得新的研究靈感以及促進集智科學家成員之間的彼此互動、交流,從而孕育全新的科研思想。


背景

網絡、幾何與機器學習研討會旨在把握當前前沿物理學與人工智能的發展趨勢與本質。一方面,複雜網絡模型可以用於理解時空的本源,也可以構建複雜的神經網絡,模擬大腦的思維。另一方面,網絡是幾何學的進一步延伸與拓展,我們利用幾何化的思路來抓住網絡背後的簡單原理,機器學習則是一種必要的技術。 傳統的社會科學研究的一個主要目標是模仿自然科學把社會活動及其背後的原理運用數學進行定量化。近年來在科學界掀起的注重關係而非實體的思潮可能給這種社會科學-自然科學的交融的產生很大的影響,從而產生新的研究範式。這種範式注重數據分析和社會活動所依託的複雜網絡,運用近年來在人工智能領域很有可能在不遠的將來顛覆以往的社會科學的研究方式。因此,本研討會的研討結果將有可能對社會科學研究產生重要的作用。

本屆研讀營是對2016年第一屆研讀營的延伸討論,主題涉及:張量網絡、深度學習、消息傳播算法等

參加人員

  • 張江,北京師範大學系統科學學院教授,集智俱樂部創始人、集智學園創始人,騰訊研究院特聘專家,華為特聘專家。研究興趣包括:複雜系統、集體注意力流、流網絡、異速生長律等。
  • 尤亦庄,加州大學聖地亞哥分校助理教授,集智科學家,主要研究領域是量子多體物理,關注集體行為導致的演生現象和臨界現象。對信息論(特別是量子信息),複雜系統,人工智能等領域也很感興趣。
  • 苑明理,彩雲科技軟件工程師,集智核心成員,數學系畢業、程序員生涯,年齡漸長,但對許多事情仍然充滿好奇和困惑。因維基對知識工程發生興趣,想去探尋知識大廈搭建之道。通過一些長期的思考,認為知識表示的幾何化有助於揭示概念創生過程的秘密。
  • 肖達,北京郵電大學計算機學院講師,彩雲科技聯合創始人、首席科學家。
  • 李林倬,芝加哥大學在讀博士生,研究興趣為使用詞向量模型等計算方法研究公共知識生產與意識形態形成與演化。
  • 章彥博,亞利桑那州立大學複雜系統博士在讀,研究方向為因果湧現、意識理論,以及化學合成路徑與生命起源之關係。同時也對深度學習、複雜網絡頗感興趣。個人主頁
  • 張章,北京師範大學系統科學學院2019級研究生,研究興趣集中於深度學習和複雜網絡的交叉領域,目前在進行使用機器學習方法進行網絡重構等工作。個人主頁
  • 崔浩川,北京師範大學系統科學學院博士在讀。研究興趣:複雜系統、知識社會學。目前在研究的項目是科學壁壘的形成與科學系統的演化。個人主頁
  • 牟牧雲,北京師範大學系統科學學院2019級直博生。研究方向為人工智能與複雜性科學,同時對認知科學興趣濃厚。
  • 賈小雙,中山大學社會學與人類學學院社會學在讀博士。研究方向為計算社會科學,關心社會科學研究如何實現有監督學習(理論驅動)和無監督學習(數據驅動)相結合。對因果推論感興趣,目前正在做的項目是如何通過表象發現事物的本質。個人主頁
  • 高飛,北京師範大學系統科學學院在讀碩士。研究興趣:利用機器學習技術解決複雜網絡上的優化問題。
  • 仇瑋禕,北京生物工程研究所助理研究員。研究興趣:模式生成,生命起源與生命複雜性。
  • 王力飛,中國科學院北京基因組研究所在讀博士。研究方向為生物信息學,對系統科學,深度學習,信息論也感興趣。目前正在做的項目是利用深度學習的模型來處理單細胞數據。
  • 劉金國,中國科學院物理研究所博士後,研究方向為量子算法與高性能計算。最近痴迷於用Julia語言實現高性能張量網絡計算,張量網絡圖表示論,張量網絡的GPU加速,以及在此之上的自動微分。個人主頁
  • 李爍輝,中國科學院物理研究所在讀博士生,研究方向為機器學習在凝聚態統計物理中的應用。目前正在做的工作為利用Normlizing flow模型進行辛變換。
  • 林意靈 ,即將去往芝加哥大學攻讀研究生,集智俱樂部核心志願者。對自然語言處理在社會科學當中的應用,學科之間的類比科普感興趣。個人主頁
  • 王呈偉,即將芝加哥大學研究生,上海大學研究生,研究興趣:語義網絡,話語與社會變遷。個人主頁
  • 徐繪敏,南京大學新聞傳播學院研究生,研究興趣:計算傳播學、計算敘事。
  • 曾立, X-Order數據科學家,知識圖譜項目負責人。密歇根大學城市規劃/環境科學雙碩士,清華建築學學士。
  • 陸雲波,陸雲波教授,現任同濟大學組織仿真中心主任,奇弦智能創始人。
  • 吳吉人,奇弦智能聯合創始人。

基本信息

  • 時間:2019年6月8日-6月12日
  • 地點:大理劍川沙溪

日程安排

日程安排建議劃分單元模塊,每一個模塊有一個明確的主題,然後將不同主題穿插在一起以體現多學科交叉,比如我根據已有的大家的主題,安排的順序如下:

  • 6月8日晚上破冰環節(大家介紹自己和自己的科研問題和項目)
條目 6.9 6.10 6.11 6.12
上午 尤亦庄:機器學習與重整化 (理論物理與機器學習模塊) 肖達:自然語言語義理解和關係推理(機器學習模塊) 張江:Learning Discrete Operators by Gradient Back Propagation(機器學習模塊) 李爍輝:From EBM to flow model(理論物理與機器學習模塊)
吳令飛:團隊規模與顛覆式創新(計算社會科學模塊) 劉金國:可自動微分的張量網絡(理論物理與機器學習模塊) 苑明理:再談自動微分 自由分享討論
下午 高飛:最大化傳播(機器學習/複雜網絡模塊) 仇瑋禕:模式生成與生命複雜系統(複雜系統模塊) 章彥博:哲學殭屍與意識起源——整合信息論(IIT)與意識(複雜系統模塊)
張章:基於鬆弛優化方法的最優結構設計(機器學習/複雜網絡模塊) 王力飛:膠囊網絡 崔浩川:學科邊界的產生——從科學研究綱領與科學研究傳統談起 (複雜網絡模塊)
6月9日
  • 尤亦庄 機器學習與重整化
  • 吳令飛 團隊規模與顛覆式創新
  • 張章:A General Deep Learning Framework for Network Reconstruction
  • 張江: Learning discrete operators
6月10日
  • 肖達:預訓練語言模型——歷史、原理、應用與分析
  • 劉金國:Differentiable Tensors
  • 王力飛:The application of CapsNet in biology
  • 仇瑋禕: 小木球 模式生成與生命複雜性
6月11日
  • 苑明理:再說自動微分
  • 李碩輝:From Energy-based Model to Flow
  • 章彥博:如何尋找複雜系統的宏觀態
  • 尤亦庄(晚間閑聊)
6月12日
  • 高飛:如何最大化社交網絡上的影響力
  • 崔浩川:How to quantify the impact of a team
  • 曾立:Crypto Knowledge Graph Project

說明

  • 先按照負責人制把基本的活動安排分配下去,每位負責人負責自己的時間段,可以自己講,也可以邀請與會者來講

詳細內容安排

尤亦庄

  • 機器學習與重整化

這裡填入要講的主題

  • 參考資料

https://arxiv.org/pdf/1802.02840.pdfhttps://arxiv.org/pdf/1903.00804.pdf;

劉金國

  • 數值科學家的新玩物: 可自動微分的張量網絡

可以自動微分的張量網絡, 它可以用來解決凝聚態材料計算, 量子線路的自動設計等重要問題. 這是我在 Google Summer of Code 指導的一個項目, 基於 Julia 語言, 我們將會建立張量網絡收縮的圖表示論, 高效的 Einstein 求和以及在此基礎之上的自動微分算法. 最後, 希望能與不同領域的人探討這種技術對小世界模型, 對路徑優化問題的啟發.

  • 參考資料

- Liao H J, Liu J G, Wang L, et al. Differentiable Programming Tensor Networks[J]. arXiv preprint arXiv:1903.09650, 2019.

張江

  • Learning Discrete Operators by Gradient Back Propagation

The triumph of deep learning technology has enabled us to learn very complex functions in various backgrounds via image recognition to natural language processing. The platforms like Tensorflow and pytorch further accelerate the progress of deep learning programming by automating the computation of gradient on complex structures. However, the requirement of the differentialability blocks the wide applications of automatic gradient computation because non-differential operators, such as sampling, permutation, selection, indexing, and so forth widely exists in programs. Although the conventional reinforcement learning algorithm like policy gradient my alleviates the suffering of non-differentialability in some sense, the slow speed of computation and the requirement of complicated skills made it difficult to apply. While, recently, researchers have invented several tricks like gumbel softmax, sinkhorn gumbel, and soft indexing to tackle the problem of non-differentialability, by carefully devising the computation process, we can do sampling, permutation, and indexing various objects with gradients. In this talk, I would like to introduce these methods and some applications.

  • 參考資料

- Categorical Reparameterization with Gumbel-Softmax, arXiv:1611.01144 - LEARNING LATENT PERMUTATIONS WITH GUMBEL- SINKHORN NETWORKS, arXiv:1802.08665v1 - Learning sparse transformations through backpropagation, arXiv:1810.09184v1 -

章彥博

  • 因果湧現與宏觀態
  • 參考資料

-

崔浩川

  • Layer Reuse 和Normalization 能給Neural Network帶來什麼
  • 學科邊界的產生——從科學研究綱領與科學研究傳統談起

張章

  • 基於鬆弛優化方法的最優結構設計

結構是智能湧現的基礎。在複雜網絡中,去重構某個存在但未知的結構,或針對某些優化目標設置最優結構對諸多下游任務和理解複雜網絡本身都有重要的意義。在這裡我們提出一種基於連續鬆弛(continuous relaxation)的優化方法,可以根據特定目標設計複雜網絡的離散結構。我們發現,在一些節點互動系統中(如boolean network),模型設計的離散結構與網絡的真實結構相同,因此我們可以將這種方法應用於網絡重構,同時我們也可以將其應用於自動機器學習領域中的的神經模塊連接結構設計等最優結構未知的問題。

  • 參考資料

- Categorical Reparameterization with Gumbel-Softmax(https://arxiv.org/abs/1611.01144) - A general Deep learning​ framework for Network Reconstruction (http://export.arxiv.org/pdf/1812.11482) - Learning Discrete Structures for Graph Neural Networks (https://arxiv.org/abs/1903.11960)

苑明理

  • 再談自動微分

大多數深度學習教材,一般從誤差的梯度回傳講起,但從鏈式法則入手,我們可以看到正傳和反傳的兩種形式的可能。我們首先回顧文獻里的對偶數方法,用對偶數(Dual number)為工具給出正傳方案的一種實現方法。然後,我們考察一類特定的優化問題,它們以含時演化的微分方程為約束,我們將仔細研究這類問題的正傳、反傳和伴隨,給出伴隨同對偶數的關係以及伴隨的幾何含義。上述探討,有助於我們進一步理解方程同神經網絡的結合。


高飛

  • 社交網絡上如何做到影響力最大化

社交網絡已經是商業和政界必爭之地,通過網絡傳播使得自己的影響最大化,從而獲得最高的選票或者最多的效益。那麼預算有限的基礎上,怎麼才能讓你的影響力最大化呢?這個問題在十幾年前被抽象成一個算法問題:影響力最大化問題,並建立了一個貪婪算法的框架求解。我們會回顧至今該問題的進一步進展,已有解決方案的局限之處。然後會介紹一種基於可微分優化框架的求解方法,在至關重要的影響力範圍的求解問題上,介紹一種基於RNN的預測方法。

  • 參考資料
    • Li Y, Fan J, Wang Y, et al. Influence maximization on social graphs: A survey[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, 30(10): 1852-1872.
    • Kempe D, Kleinberg J, Tardos É. Maximizing the spread of influence through a social network[C]//Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2003: 137-146.

李爍輝

  • From EBM to flow model

This talk introduces a bottom-up view of flow model. Starts with EBM and RBM model, I will talk about how RBM is actually a "Self-GAN" EBM model. Then VAE is introduced and joined with GAN to form a so-called divergence triangle model. Then we will see this divergence triangle model is a rough approximation of flow model. At this point, we can see that flow models can be viewed a GAN, VAE and EBM model. And from here I will introduce a flow model that is also a renormalization group method. Then we will see that neuralODE is a continue version of flow model.

  • 參考資料

- https://arxiv.org/abs/1812.10907;

- https://arxiv.org/abs/1802.02840;

- https://arxiv.org/abs/1806.07366;

- https://arxiv.org/abs/1809.10188.

肖達

  • 預訓練語言模型的語義理解能力考察——從關係推理視角

以BERT為代表的預訓練語言模型通過海量數據無監督訓練得到自然語言的強大和通用的表徵,在其上構建的模型在文本分類、問答、翻譯和生成等諸多任務都取得了顯著進步。然而,從認知語言學的角度考察預訓練語言模型,我們尚不清楚它有多強的關係推理能力,這一人類語言理解的核心技能。關係推理按難度可分為一階關係(實體之間或實體和屬性之間,又叫常識,例如“大象比螞蟻大”,“大象很大”)、二階關係(關係和關係之間,又叫規則,例如“某物x放不進某物y因為某物x太大了”)和高階關係(因果、轉折、同義、反義等關係)。本報告介紹一種定量評估BERT各級關係推理能力的簡單方法及其評估結果,從一個側面反映了BERT相對於人類在語言理解上的局限,進而探討了從模型層面增強BERT二階和高階關係推理能力的可能改進方案。

  • 參考資料

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.

[2] Alon Talmor, Jonathan Herzig, Nicholas Lourie and Jonathan Berant. CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge. NAACL 2019. [3] Levesque H, Davis E, Morgenstern L. The winograd schema challenge. 13th International Conference on the Principles of Knowledge Representation and Reasoning. 2012. [4] Weston J, Bordes A, Chopra S, et al. Towards ai-complete question answering: A set of prerequisite toy tasks[J]. arXiv preprint arXiv:1502.05698, 2015.

仇瑋禕

  • 模式生成與生命複雜性

(待填充)

  • 參考資料

王力飛

  • Capsnet在單細胞分析中的應用
  • 參考資料

https://www.biorxiv.org/content/10.1101/506642v1 https://www.biorxiv.org/content/10.1101/570507v1

牟牧雲

  • 圖神經網絡在交通網路中的應用
  • 參考資料

https://arxiv.org/abs/1904.08831?context=cs

徐繪敏

  • 尋找故事中的規律:基於詞向量方法的計算敘事研究

介紹:人類偏愛講故事,因為故事更能打動人或說服人。故事也是人類理解社會現實的一種形式,因而可以從故事文本中發現人類對社會結構的認知傾向。本研究將嘗試採用自然語言處理和機器學習的方法來分析故事文本當中是否隱藏着普適模式,並探索故事在敘事過程中是否存在性別歧視。


主辦方介紹

集智俱樂部

集智俱樂部,英文名:Swarma Club,成立於 2003 年,是一個從事學術研究、享受科學樂趣的探索者的團體,也是國內最早的研究人工智能、複雜系統的科學社區。它倡導以平等開放的態度、科學實證的精神,進行跨學科的研究與交流,力圖搭建一個中國的 “ 沒有圍牆的研究所 ”。


凱風基金會

凱風公益基金會於2007年3月設立,是國家民政部主管的非公募公益基金會。也是首批由企業發起、國家民政部批准設立,並由國家民政部作為上級主管部門的公益基金會。凱風公益基金會主要通過機構合作方式,對在學術研究、政策研究、教育和公益實踐方面獲得重要成果、具備實力和潛力的學術精英和公益精英,進行資助和獎勵,進而達到提升公共福利、增加公眾利益、傳播公益思想的目的。凱風公益基金會的戰略合作夥伴包括國內外頂尖的綜合性大學和研究機構、專業藝術院校、國內外一流的NGO。

企業贊助

  • 背景

集智俱樂部的粉絲中有一部分科研企業家,這些企業家大都是科技企業的CEO,本身具有較強的科研能力,熱愛科學,所帶領的企業看重科研創新,重視科學研究,自身企業也在做一些科研方面的探索。考慮到這些企業家的需求,我們可以每期研讀營開放2個左右的名額,可以讓他們深度參與進來,感受研讀營的魅力,也促進大家的交流探討。

  • 參與方式

企業家可以以贊助的名義參與,主要操作是贊助且申請,經由研讀營的核心科學家審核,然後按贊助額排序錄取,每屆兩名。

如果想要參與,請聯繫王婷Email :wangting@swarma.org / Wechat:wt1511181498

  • 申明

所有贊助的經費均用會用於資助學者或者科研團隊進行研究,而不用於其他任何商業用途。 最終解釋權歸北京集智會自然科學研究中心所有。


  • 申請截止日期

研讀營正式開始的前30天截止申請(此次正常的截止日期為:5月7日)

如果在開營前30天內申請,考慮到會增加額外的人力和管理成本,贊助費用須>2萬/人。

個人工具
名字空間
動作
導覽
工具箱