集智課程

基礎通識專題

PyThon入門系列教程

• 安裝Python
• 基本功能：print、基礎數學運算、variable
• while / for循環
• if else 判斷
• 定義函數、函數參數、默認參數
• 全局變量
• 外部模塊安裝
• 讀寫文件
• class 類、類的 init 功能
• 使用 input 處理輸入
• 元組和列表
• list 列表
• dictionary 字典
• 多維列表
• 引入模塊
• 自定義模塊
• 使用continue和break
• try 錯誤處理
• zip lambda map
• 淺談複製、深複製
• 使用 pickle 保存數據
• 使用 set 找不同

Numpy|Pandas數據處理神器

• 為什麼要使用 Numpy 和 Pandas
• 安裝方法
• Numpy 的基本屬性
• 創建 Numpy 的 array
• Numpy 基礎運算 #1
• Numpy 基礎運算 #2
• Numpy 使用索引
• Numpy 合并 array
• Numpy 分割 array
• Numpy 複製和深複製
• Pandas 基本介紹
• Pandas 選擇數據
• Pandas 設置值
• Pandas 處理丟失數據
• Pandas 導入導出數據
• Pandas 使用 concat 合并數據
• Pandas 使用 merge 合并數據
• Pandas 使用 plot 建立圖表

Tensorflow 入門系列教程

• 什麼是神經網絡
• 為什麼選 Tensorflow
• 安裝Tensorflow
• 神經網絡在幹嘛
• Tensorflow的處理結構
• 會話控制
• Variable 變量
• Placehoder 傳入值
• 激勵函數
• 機器翻譯原理簡介
• 添加層： add_layer()
• 建造神經網絡
• 結果可視化
• 優化器：optimizer
• 網絡可視化：Tensorboard
• Classification 分類學習
• Dropout 解決 過擬合
• 卷積神經網絡：CNN
• 神經網絡的保存和讀取
• 循環神經網絡：RNN
• 回歸問題的可視化
• 無監督學習：Autoencoder
• scope 命名方法
• 批標準化：Batch Normalization

機器學習神經網絡入門

• 什麼是機器學習
• 什麼是神經網絡模型
• 什麼是卷積神經網絡
• 什麼是循環神經網絡 RNN
• 什麼是 LSTM RNN
• 什麼是自編碼器
• 什麼是生成式對抗網絡（GAN）

計算機視覺專題

計算機視覺與深度學習

• 1 計算機視覺中的深度學習概述

• 1.1 人工神經網絡的發展簡史與現狀
• 1.2 神經網絡基本組成：全連接、卷積、池化、激活函數
• 1.3 深度學習常用技術：數據預處理、網絡初始化、過擬合抑制、優化器與學習率
• 1.4 計算機視覺的熱門任務：圖像分類、物體檢測、圖像分割、風格轉換、圖像生成、視頻類等
• 1.5 深度學習常用平台

• 2 機器學習中的歸一化

• 2.1 神經網絡常見特徵歸一化技術
• 2.2 特徵歸一化技術的應用場景

• 3 激活函數、過擬合抑制、其他網絡訓練的黑科技

• 3.1 激活函數發展歷史
• 3.2 激活函數的定義、性質
• 3.3 激活函數的實例：優缺點和應用場景分析。
• 3.4 dropout等其他過擬合抑制技術
• 3.5 數據預處理、網絡初始化、損失函數、優化器與學習率

• 4 常用深度神經網絡模型簡介

• 4.1 熱門判別模型結構：包括 NIN, Inception, ResNet, DenseNet等。

• 5 進階模型：GAN與AutoEncoder

• 5.1 熱門生成模型結構：包括 Autoencoder等
• 5.2生成模型與判別模型的結合：GAN

• 6 典型應用——物體檢測

• 6.1 物體檢測一般流程
• 6.2 物體檢測常見技術
• 6.3 主流物體檢測框架

• 7 深度實例分析——可控人臉變換和高準確率人臉識別

• 7.1 特徵提取與分離的基本概念
• 7.2 本方法通過學習提取特徵的具體流程
• 7.3 方法效果展示與分析

PyTorch入門 ——計算機視覺

• 1 當“深度學習”遇上Pytorch

• 1.1 深度學習、機器學習
• 1.2 反向傳播算法在神經網絡中的作用
• 1.3 深度學習算法中的架構與訓練方法
• 1.4 兩種最重要的深度網絡：CNN、RNN
• 1.5 深度學習的本質

• 2 “共享單車”需要我

• 2.1 神經網絡預測器1

• 2.1.1 神經元細胞
• 2.1.2 神經網絡
• 2.1.3 神經網絡的工作原理

• 2.2 神經網絡預測器2

• 2.2.1 數據預處理
• 2.2.2 利用Pytorch構建神經網絡
• 2.2.3 預測結果及其分析

• 2.3 對神經網絡的解剖
• 2.4 神經網絡分類器

• 3 我卷卷卷——卷積神經網絡

• 3.1 將卷積過程理解為模板匹配
• 3.2 卷積核與特徵圖的對應
• 3.3 池化操作
• 3.4 Dropout：防止過擬合的一種方法
• 3.5 數據集：訓練、校驗、測試
• 3.6 卷積神經網絡的代碼實現

• 4 神經網絡如何“移情別戀”——遷移學習

• 4.1 遷移學習
• 4.2 遷移學習的兩種方式
• 4.3 預訓練的方式效果更好
• 4.4 風格遷移
• 4.4.1 讓內容和風格相差最小
• 4.4.2 Gram矩陣的計算

• 5 “鏡像網絡”與“貓鼠遊戲”

• 5.1 圖像生成
• 5.2 反卷積操作的內容與含義
• 5.3 GAN——一套新的機器學習框架
• 5.4 優化技巧：Adam、batch normalization 、權重初始化、激活函數

GAN專題論文研讀

• 1 基礎原理之GAN的誕生

• 1.1 引言

• 1.1.1 GAN產生的大環境
• 1.1.2 其它相關方法

• 1.2 核心思想
• 1.3 優化目標的有效性
• 1.4 優化方法的有效性
• 1.5 實驗分析&後續工作
• 1.6 總結：文章特色&GAN特色

• 2 GAN的數據生成篇

• 2.1 GAN的數據生成——從無到有：條件式

• 2.1.1 InfoGAN
• 2.1.2 cGAN
• 2.1.3 DCGAN

• 2.2 GAN的數據生成——從無到有：漸進式

• 2.2.1 LAPGAN
• 2.2.2 StackGAN
• 2.2.3 pix2pix
• 2.2.4 pix2pixHD

• 2.3 GAN的數據生成——從A到B的遷移學習

• 2.3.1 cycleGAN
• 2.3.2 DualGAN
• 2.3.3 DiscoGAN
• 2.3.4 StarGAN

• 3 GAN的模型訓練篇

• 3.1 GAN”不好訓“的理論分析

• 3.1.1 問題一：D無法提供梯度幫助
• 3.1.2 問題二：訓練效果不穩定

• 3.2 WGAN：GAN 的理論改進

• 3.2.1 KL距離、JS距離、TV距離的不合理性
• 3.2.2 Wasserstein距離的合理性、連續性及證明
• 3.2.3 Wassertein距離的近似計算與近似條件
• 3.2.4 WGAN的優化目標與優化過程
• 3.2.5 WGAN與GAN相比的優點

• 3.3 DCGAN：基於啟發式的 GAN 訓練技巧

• 3.3.1 DCGAN
• 3.3.2 Improved Techniques for Training GANs

• 3.4 D2GAN：從 GAN 結構出發改善訓練效果

• 3.4.1 KL距離與 reverse-KL距離
• 3.4.2 D2GAN 的工作原理及公式分析
• 3.4.3 D2GAN 效果的實驗驗證

• 4 GAN的典型應用

• 4.1 perceptual loss中圖像生成任務應用的核心優勢：

• 4.1.1 DNN前向推斷的高效性
• 4.1.2 優化目標：feature map的魯棒性

• 4.2 在遷移學習與超分辨率任務中perceptual loss的應用
• 4.3 generating videos with scene dynamics

• 4.3.1 用對抗的方法生成視頻
• 4.3.2 從大量無標籤視頻數據中
• 4.3.3 雙流結構學習其中的一些dynamics
• 4.3.4 方法特色：利用時空卷積結構；前景、背景分開建模

• 4.4 cross-domain的image caption

• 4.4.1 強化學習
• 4.4.2 對抗訓練
• 4.4.3 domain critic and multi-modal critic

• 5 GAN的特徵學習

• 5.1 兩類傳統無監督學習方法介紹

• 5.1.1 產生式無監督學習方法
• 5.1.2 判別式無監督學習方法

• 5.2 無標籤樣本集合的問題分析與解決方法

• 5.2.1 缺乏真實標籤時如何定義劃分標準的好壞
• 5.2.2 GAN 的判別器 D 只能辨真假，不能分類別

• 5.3 CatGAN 中生成器 G 和判別器 D 的表達式

• 5.3.1 無監督形式

• 5.3.2 半監督形式：增加一項交叉損失項

• 6 GAN的姿態遷移

• 6.1 目標域無標籤的無監督領域自適應問題
• 6.2 雙判別器生成對抗網絡的設計架構

6.2.1 生成對抗學習

• 6.2.2 帶有分類約束的判別器

• 7 GANImation

• 7.1 論文的主要貢獻：

• 7.1.1 可以控制到每個AU（action unit）的幅度，而不只是離散的集中表情
• 7.1.2 引入注意力機制，增強魯棒性

• 7.2 模型的整體框架

• 7.2.1 生成器結構
• 7.2.2 判別器結構
• 7.2.3 損失函數
• 7.2.4 具體實現

• 8 GAN論文串講

• 8.1 GAN前期課程的回顧
• 8.2 2018年GAN的新進展
• 8.3 時令論文解讀：非監督式學習的視頻解耦表示

自然語言處理專題

中文自然語言理解（NLU）在金融領域的應用

• 1 從中文NLP碼農到中文NLU世界

• 1.1 自然語言處理(NLP)到自然語言理解(NLU)的任務差異
• 1.2 語言難在哪?中文又難在哪?
• 1.3 深度學習如何產生語意表徵
• 1.4 RNN, LSTM, GRU用序列的角度理解語言
• 1.5 作業項目：詞神林夕養成計劃

• 2 從語言序列中判斷語義

• 2.1 序列到序列（Seq2Seq）模型觀念
• 2.2 不只教建模，當然還要教標註
• 2.3 注意力(Attention)重新發明了序列到序列
• 2.4 作業項目：學習做好語言標註的基本功

• 3 對語言最強大的降維攻擊武器——詞向量

• 3.1 Bengio的神經概率語言模型（NPLM）
• 3.2 Word2Vec技術介紹
• 3.3 製作詞向量的數據清洗
• 3.4 還有哪些有趣的語言向量?
• 3.5 撿拾低垂的語意果子--類比推理、實體枚舉
• 3.6 知識圖譜抽取、同義字推斷
• 3.7 降維可視化
• 3.8 作業項目：掐頭去尾找重點：投研報告打開的正確方式

• 4 用機器視覺解放長文本

• 4.1 誰說中文必須要分詞，讓機器學會「看中文」
• 4.2 中文的造字法則，如何能讓形音義三位一體
• 4.3 用字向量從分詞任務中解脫
• 4.4 文字卷積(Text CNN)進行語意識別
• 4.5 從卷積的角度看語言
• 4.6 中文的數據增強技巧
• 4.7 作業項目：使用文字卷積評估長文本語意

• 5 別忘了這些傳統NLP任務

• 5.1 溫故而知新，被遺忘的依存句法分析
• 5.2 句法結構來判讀歧異
• 5.3 從句法結構到複雜實體關係理解
• 5.4 作業項目：人腦搞暈的股權結構關係，沒關係有深度學習在

• 6 提槍上戰場：基於自然語言理解的交易信號預測

• 6.1 情感序列識別或者是篇章情感識別
• 6.2 深度特徵到市場預測
• 6.3 解決過擬合
• 6.4 結業項目：基於自然語言理解的交易信號預測

PyTorch入門 ——自然語言理解

• 1 詞彙的星空

• 1.1 NLP總體介紹
• 1.2 詞向量介紹
• 1.3 Bengio的神經概率語言模型（NPLM）

• 1.3.1 NPLM的Pytorch實現
• 1.3.2 《三體》中的詞向量
• 1.3.3 中文分詞與預處理
• 1.3.4 運用Sklearn包進行PCA降維

• 1.4 Word2Vec技術介紹

• 1.4.1 Skip Gram模型
• 1.4.2 負採樣技術
• 1.4.3 gensim的Word2Vec包
• 1.4.4 加載大型詞向量
• 1.4.5 降維可視化
• 1.4.6 運用詞向量進行類比推理
• 1.4.7 運用詞向量進行查詢與搜索

2 機器也懂感情？

• 2.1 文本分類任務介紹
• 2.2 詞袋模型分類器

• 2.2.1 京東購物評論頁面的抓取
• 2.2.2 大型語料的生成與預處理
• 2.2.3 訓練、校驗與測試數據集的劃分
• 2.2.4 構造詞袋向量
• 2.2.5 利用PyTorch構造神經網絡
• 2.2.6 解剖詞袋神經網絡
• 2.2.7 詞袋神經網絡為何會犯錯？

• 2.3 RNN

• 2.3.1 什麼是RNN？
• 2.3.2 RNN工作基本原理
• 2.3.3 手工實現一個RNN
• 2.3.4 RNN的缺點

• 2.4 LSTM

• 2.4.1 什麼是LSTM？
• 2.4.2 LSTM的工作原理
• 2.4.3 如何運用PyTorch實現一個LSTM？

3 神經網絡莫扎特——LSTM

• 3.1 走進序列的世界
• 3.2 教會LSTM上下文無關語法

• 3.2.1 有限狀態自動機
• 3.2.2 上下文無關語法
• 3.2.3 梯度爆炸與梯度消失
• 3.2.4 LSTM的本質是什麼？
• 3.2.5 LSTM如何學會上下文無關語法？
• 3.2.6 LSTM的變種GRU

• 3.3 LSTM作曲家

• 3.3.1 MIDI音樂的本質是什麼？
• 3.3.2 mido包：用Python操縱MIDI音樂
• 3.3.3 音樂生成器的設計與訓練
• 3.3.4 PyTorch中如何使用GPU？
• 3.3.5 Floyd——一個好用、便宜的GPU計算平台

4 彩雲小譯——機器翻譯

• 4.1 彩雲小譯簡介
• 4.2 機器翻譯概述
• 4.3 神經機器翻譯原理

• 4.3.1 雙向LSTM
• 4.3.2 編碼器-解碼器解構
• 4.3.3 注意力機制概述
• 4.3.4 Beam search原理

• 4.4 神經機器翻譯的PyTorch實現

• 4.4.1 雙語語料的準備
• 4.4.2 雙向LSTM的實現
• 4.4.3 注意力機制的實現
• 4.4.4 翻譯效果的評估

• 4.5 機器翻譯++

• 4.5.1 機器翻譯的最新進展
• 4.5.2 看圖說話

5 遊戲高手

• 5.1 為什麼要讓AI玩遊戲？
• 5.2 強化學習簡介
• 5.3 深度強化學習原理

• 5.3.1 深度強化學習的多種途徑
• 5.3.2 DQN網絡工作原理
• 5.3.3 DQN表現結果

• 5.4 DQN玩Flappy Bird的PyTorch實現

• 5.4.1 PyGame：用Python模擬遊戲的包
• 5.4.2 Flappy Bird的Python實現
• 5.4.3 DQN的PyTorch實現
• 5.4.4 效果評估

• 5.5 我們離通用AI還有多遠？

• 5.5.1 Marcus Hutte的AIXI簡介
• 5.5.2 哥德爾機是否是終極？

如何打造你自己的聊天機器人

• 1 聊天機器人的前世今生

• 1.1 聊天機器人的分布與功能
• 1.2 常見的聊天機器人應用
• 1.3 聊天機器人的知識庫與個人化
• 1.4 梳理傳統聊天機器人和當下聊天機器人的異同

• 2 聊天機器人的關鍵技術

• 2.1 基於檢索的聊天機器人架構解析
• 2.2 基於生成模型的聊天機器人構架解析
• 2.3 RNN、LSTM語言模型簡介
• 2.4 序列模型、編碼器解碼器簡介
• 2.5 語言生成任務的挑戰
• 2.6 注意力機制
• 2.7 分析開發聊天機器人中的基礎框架、重要概念和關鍵技術

• 3 任務驅動型聊天機器人

• 3.1 任務驅動型聊天機器人的結構回顧
• 3.2 NNDIAL工作流程分析及源碼解析
• 3.3 基於注意力機制的生成模型
• 3.4 CamRest676對話數據集
• 3.5 任務驅動型聊天機器人的經典工作

• 4 開放領域聊天機器人

• 4.1 基於檢索的聊天機器人

• 4.1.1 語料特徵及特徵來源
• 4.1.2 比較語句的相似性
• 4.1.3 相似語句語料：Quora

• 4.2 基於檢索的聊天機器人的訓練流程

• 4.2.1 數據預處理
• 4.2.2 特徵工程，特徵統計與關鍵特徵提取

• 4.3 基於檢索的多輪對話機器人

• 4.3.1 架構原理及代碼解析

• 4.4 基於生成模型的聊天機器人

• 4.4.1 基本架構分析
• 4.4.2 RNN、LSTM、Seq2Seq、Encoder-Decoder
• 4.4.3 注意力機制

• 4.5 基於生成模型的相關工作和技術難點

• 5 聊天機器人與外部知識

• 5.1 聊天機器人的常識性知識系統
• 5.2 聊天機器人的記憶系統（上下文與歷史對話）
• 5.3 聊天機器人的情緒/個人化
• 5.4 改進聊天機器人用戶體驗的相關工作

• 6 聊天機器人與增強學習

• 6.1 基於增強學習的聊天機器人的最終任務
• 6.2 基於增強學習的對話系統結構分析
• 6.3 KB-InfoBot原理解析
• 6.4 Soft-KB Lookup via Attention
• 6.5 強化學習中的狀態（State）：Belief Tracker
• 6.6 增強學習中可採取的技巧

自然語言處理與深度學習

• 1 Word2Vec：詞向量技術的基礎與模型

• 1.1 詞嵌入問題以及目前詞嵌入方法的分類
• 1.2 Word2Vec的簡單歷史與介紹
• 1.3 CBOW和Skip-Gram算法簡介
• 1.4 Skip-Gram的工作原理
• 1.5 負採樣及其目的

• 2 Word2Vec：編碼與實踐

• 2.1 Google版本Word2Vec使用方法及程序中各個參數的含義
• 2.2 Gensim版本的Word2Vec的使用及代碼、數據集、在線資源、可視化方法等

• 3 詞嵌入的相關問題

• 3.1 Glove：通過上下文和當前詞的共同出現次數的算法

• 3.1.1 Glove的全局性與Word2Vec的局部性

• 3.2 Word2Vec的局限性及解決方法
• 3.3 更多解決詞嵌入問題的方法

• 3.3.1 可解釋的關係、語法資源、非單詞單元的嵌入
• 3.3.2 非英語的嵌入問題

• 4 神經網絡基礎

• 4.1 神經網絡的發展歷史

• 4.1.1 從MP模型到Hebb學習率、Hopfield網絡
• 4.1.2 CNN模型，ImageNet比賽和深度學習

• 4.2 多層感知機

• 4.2.1 什麼是多層感知機、XOR問題、多層感知機的激活函數
• 4.2.2 什麼是反向傳播算法、梯度下降算法，以及自適應梯度下降算法

• 4.3 正則化防止過擬合

• 4.3.1 根據貝葉斯理論來選擇正則化的形式

• 5 RNN在自然語言處理中的應用

• 5.1 RNN的發展歷程：從Hopfield Network到GRU
• 5.2 RNN的結構及其訓練

• 5.2.1 RNN中的反向傳播算法
• 5.2.2 梯度消失問題

• 5.3 RNN在NLP中應用

• 5.3.1 語言模型、序列標註、翻譯、對話等

• 6 自然語言中的RNN實戰

• 6.1 深度學習流行框架

• 6.1.1 偏向底層化Torch、Theano、TensorFlow
• 6.1.2 模塊化或高層次的Keras、Lasagne、Blocks

• 6.2 古詩詞生成

• 6.2.1 古詩詞生成的基本框架、生成模型的基本介紹
• 6.2.2 N-Gram、基於RNN的語言模型

• 6.3 自然語言處理的相關任務

• 6.3.1 命名實體識別、語詞標註、句法分析
• 6.3.2 注意力機制、記憶機制

• 7 自然語言處理中的卷積神經網絡

• 7.1 自然語言處理中的CNN的特點

• 7.1.1 提煉語言中的多層次信息
• 7.1.2 考慮多個詞彙的各種可能組合

• 7.2 CNN的工作原理

• 7.2.1 卷積操作、池化操作、特徵圖（feature map）

• 7.3 自然語言處理中的CNN模型變種和改進

• 7.3.1 動態池化、可變窗口大小、字符級別的CNN模型、高速公路網絡

• 8 情感分析

• 8.1 情感分析介紹

• 8.1.1 什麼是情感分析，應用場景，以及語義相關任務的分類

• 8.2 語義分析的框架
• 8.3 語義分析數據集：Stanford Sentiment Treebank
• 8.4 Deep Averaging Network（DAN）模型

• 9 機器翻譯

• 9.1 機器翻譯的技術背景與最新進展
• 9.2 編碼-解碼框架
• 9.3 注意力機制
• 9.4 殘差網絡
• 9.5 特殊的輔助機制
• 9.6 機制翻譯的最新進展

• 10 自然語言生成

• 10.1 語言生成發展簡史

• 10.1.1 早期的模板匹配、語言模板
• 10.1.2 生成春聯、天氣預報、看圖說話
• 10.1.3 故事生成、機器自動對話

• 10.2 語言生成的主流框架

• 10.2.1 基於編碼-解碼（Encoder-decoder）框架到端到端（End2End）架構
• 10.2.2 可變編碼-解碼（Variational encoder-decoder）方法
• 10.2.3 可變自編碼（Variational autoencoder）方法

• 10.3 語言生成的常見問題

• 10.3.1 語義漂移、高頻模式、文不對題等，以及相應的解決方案

• 10.4 谷歌對話系統Allo架構

數據科學專題

數據科學入門教程

• 1 什麼是機器學習？

• 1.1 機器學習的基礎框架
• 1.2 監督式學習與非監督式學習
• 1.3 欠擬合與過擬合
• 1.4 機器學習的不同學派
• 1.5 從機器學習到深度學習

• 2 機器學習能為我們做些什麼？

• 2.1 機器學習中「輸入」與「輸出」的概念
• 2.2 什麼是監督式學習與非監督式學習
• 2.3 什麼是數據的測量
• 2.4 機器學習的主要規則（算法）形態
• 2.5 哪些是千萬別犯的錯誤推論

• 3 如何對數據問正確的問題

• 3.1 如何定義一個“好問題”
• 3.2 人與機器解決問題的方法差異
• 3.3 如何清楚定義一個輸出目標變量
• 3.4 透過訓練-測試兩組數據來驗證是否為規則

• 4 占卜、語言與預測

• 4.1 關聯性與因果性
• 4.2 明確事件發生的時間先後順序的邏輯
• 4.3 做有意義的預測
• 4.4 數據科學是關於時間的科學
• 4.5 如何規劃一個預測問題的現在、過去與未來

• 5 樣本的玄機

• 5.1 選擇樣本一定要具有代表性
• 5.2 大數據幫助我們更好理解世界
• 5.3 樣本選取的原則

• 5.3.1 樣本需要覆蓋完整的時窗周期
• 5.3.2 排除常識，找到真正需要分析的對象
• 5.3.3 將樣本分割為訓練集與測試集
• 5.3.4 訓練模型時最好黑白分明

• 6 數據的清洗術

• 6.1 數據清洗流程回顧
• 6.2 數據顆粒度把控
• 6.3 需要被處理的類型數據及變量類型轉換
• 6.4 數據正規化
• 6.5 缺失數據、噪聲處理及深度學習的優勢

• 7 分類算法

• 7.1 分類算法的基礎思想
• 7.2 Logistic 回歸
• 7.3 決策樹與隨機森林
• 7.4 支持向量機
• 7.5 不要用的分類評價指標
• 7.6 正確評價分類算法

數據科學心法與機器學習實戰

• 1 數據無處不在

• 1.1 預測未來是人類的天性
• 1.2 數據能為/不能為我們作什麼?
• 1.3 你該知道的15種數據推斷與決策的低級錯誤
• 1.4 從大數據切換至深度學習該注意的思維轉變?

• 2 數據科學的方法論：定義商業問題、定義分析數據

• 2.1 CRISP-DM 6大步驟
• 2.2 如何將商業問題正確的轉化為數據問題
• 2.3 什麼是預測?
• 2.4 定義數據分析的時間窗
• 2.5 取數的基本原則
• 2.6 如何正確定義樣本
• 2.7 還有哪些外部數據是能夠幫助我的?

• 3 數據科學的方法論：數據預處理

• 3.1 傳統的數據預處理原則
• 3.2 數據基礎探索(Data Explore Analysis)
• 3.3 千萬別誤用的統計觀念
• 3.4 數據可視化
• 3.5 概率分布、極端值與離群值
• 3.6 數據轉換
• 3.7 數據清洗原則
• 3.8 數據降維與特徵選取
• 3.9 深度學習中的數據預處理原則

• 4 分類問題的建模與評估方法

• 4.1 分類問題:logistics regression, 隨機森林算法, svm
• 4.2 分類問題案例：金融信用評級、精準營銷
• 4.3 處理分類問題的關鍵
• 4.4 如何評估分類模型
• 4.5 欠擬合與過擬合
• 4.6 實作：運用python演練分類問題

• 5 推估問題的建模與評測方法

• 5.1 推估問題:回歸、神經網絡、時間序列
• 5.2 推估問題案例：不動產價格預測、電力需求預測
• 5.3 如何處理與時間周期相關的數據
• 5.4 如何找出數值間的潛在關聯
• 5.5 如何評估推估模型
• 5.6 實作：運用python演練推估問題

• 6 相似性問題的建模與評估方法

• 6.1 相似性問題:聚類、最近鄰居法
• 6.2 無監督學習與監督式學習
• 6.3 如何弭平人類感受與機器計算的相似性之間的落差
• 6.4 找尋相似與相異
• 6.5 處理聚類問題的關鍵步驟:降維
• 6.6 實作：運用python演練聚類問題

• 7 數據科學實務案例：運營商如何基於數據留住客戶

• 7.1 運營商如何用數據設定留住客戶的天羅地網
• 7.2 從識別流失到找出能打動客戶的理由
• 7.3 模型結果如何與營銷結合
• 7.4 如何從龐大特徵中找出關鍵特徵
• 7.5 如何監控模型有效性

• 8 數據科學實務案例：金融行業的案例建模與評估

• 8.1 金融行業的信用評級模型
• 8.2 過去二十年來標準的評分卡是怎麼做的
• 8.3 大數據與深度學習如何處理信用
• 8.4 新巴賽爾協議中的風險觀點
• 8.5 如何將信用評分結果轉換為征授信策略
• 8.6 如何評估模型以及提前預警模型失效

• 9 數據科學實務案例：推薦算法的案例建模與評估

• 9.1 產品內容推薦:購物車規則、協同式過濾、消費行為向量表徵
• 9.2 推薦算法的前世今生
• 9.3 推薦算法實踐案例:電商產品推薦
• 9.4 網絡行為的追蹤機制
• 9.5 我能透過網頁收集哪些數據

人工智能思維拓展系列課程

迎接AI時代

• 1 人工智能是如何產生的？

• 1.1 阿蘭圖靈與人工智能
• 1.2 達特茅斯會議與人工智能的誕生
• 1.3 人工智能發展的兩大階段

• 2 人工智能發展現狀分析

• 2.1 深度學習革命
• 2.2 玩轉深度學習的三大要素
• 2.3 深度學習開源平台：Google TensorFlow；Facebook Torchnet；Microsoft DMTK；IBM SystemML；Yahoo CaffeOnSpark；Amazon DSSTNE；Baidu PaddlePaddle；Tesla Open-AI
• 2.4 為什麼深度學習會與眾不同？

• 3 人工智能主要領域

• 3.1 大數據與機器學習
• 3.2 計算機視覺
• 3.3 自然語言處理
• 3.4 推薦與個性化
• 3.5 機器人與自動化

• 4 AI在各行各業中的應用及案例

• 4.1 AI在醫療領域的應用
• 4.2 AI在製造業的應用
• 4.3 AI在金融行業的應用
• 4.4 AI在教育中的應用
• 4.5 AI在交通運輸中的應用
• 4.6 人工智能的未來展望
• 4.7 無處不在的人工智能
• 4.8 人工智能的社會
• 4.9 通用人工智能
• 4.10 奇點臨近
• 4.11 未來社會的兩級分化
• 4.12 無用階級
• 4.13 神人覺醒
• 4.14 生命3.0

人工智能創業與未來社會

• 1 人工智能與就業

• 1.1 AI引發的失業浪潮
• 1.2 機器最可能替代什麼樣的工作？
• 1.3 未來就業結構會如何發生變化？
• 1.4 AI引發的經濟增長

• 2 人工智能對傳統企業的影響與衝擊

• 2.1 Google的人工智能戰略
• 2.2 BAT的轉型
• 2.3 GE的人工智能轉型
• 2.4 企業組織架構的變遷
• 2.5 AI對人力資源的影響

• 3 人工智能創業浪潮

• 3.1 Deepmind傳奇
• 3.2 彩雲AI的故事
• 3.3 AI創業公司的分布

• 4 人工智能創業方法論

• 4.1 不同類型的AI創業
• 4.2 深度學習與創業矩陣
• 4.3 如何開發人工智能產品？
• 4.4 數據、人才與市場
• 4.5 流量思維
• 4.6 精益創業
• 4.7 數據飛輪

• 5 新型工作類型

• 5.1 眾包與人類計算
• 5.2 零工經濟
• 5.3 注意力經濟
• 5.4 意願經濟
• 5.5 體驗經濟
• 5.6 遊戲化生存
• 5.7 創造新崗位的四個步驟

機器學習思維

• 1 為什麼需要機器學習思維

• 1.1 機器學習不僅僅是一種技術
• 1.2 Google的AI戰略
• 1.3 複雜度危機與機器學習

• 2 什麼是機器學習

• 2.1 什麼是算法
• 2.2 機器學習是算法的逆運算
• 2.3 機器學習與歸納思維
• 2.4 機器學習如何工作？
• 2.5 人工神經網絡如何工作？

• 3 機器學習思維案例分析

• 3.1 機器學習商業戰
• 3.2 以貌取相的人工智能
• 3.3 人工智能“算命師”
• 3.4 特朗普的AI策略

• 4 什麼是深度學習

• 4.1 深度神經網絡
• 4.2 深度卷積神經網絡
• 4.3 深度循環神經網絡
• 4.4 特徵學習——深度學習的本質
• 4.5 詞向量
• 4.6 如何用詞向量推斷明星之間的男女關係

• 5 什麼是遷移學習

• 5.1 如何在小數據的條件下做遷移學習
• 5.2 如何嫁接神經網絡
• 5.3 遷移學習如何扶貧

• 6 數據從何處來？

• 6.1 開放數據源
• 6.2 網頁扒取
• 6.3 小數據放大
• 6.4 眾包與遊戲化

複雜系統專題

系統科學概論

• 1 系統科學導論

• 1.1 從金融市場談起
• 1.2 有效市場假說以及經濟學的革新
• 1.3 系統及其湧現性
• 1.4 系統科學
• 1.5 國際發展

• 2 自組織理論

• 2.1 科學的發展
• 2.2 生命是什麼
• 2.3 時間反演對稱
• 2.4 熱力學第二定律
• 2.5 自組織現象
• 2.6 自組織理論的要點
• 2.7 自組織理論方法

• 3 動力學與混沌

• 3.1 動力學描述的普遍性
• 3.2 動力學建模
• 3.3 動力系統定性分析
• 3.4 動力系統數值方法
• 3.5 Logistic映射
• 3.6 Lorenz系統

• 4 元胞自動機

• 4.1 初等元胞自動機
• 4.2 初等元胞自動機的行為
• 4.3 交通流的NS模型
• 4.4 DLA模型
• 4.5 沙堆模型與自組織臨界
• 4.6 自然界中的冪律分布

• 5 多主體建模方法

• 5.1 多主體建模方法
• 5.2 鳥群飛行
• 5.3 Shelling 隔離模型
• 5.4 少數者博弈模型

• 6 分形的世界

• 6.1 混沌和數學中的分形
• 6.2 英國的海岸線有多長？
• 6.3 Mandelbrot集合
• 6.4 分形維數
• 6.5 分形——不規則分形的箱覆蓋法
• 6.6 混沌與分形小結

• 7 複雜網絡

• 7.1 複雜網絡研究-意義及問題
• 7.2 複雜網絡結構度量
• 7.3 小世界網絡
• 7.4 無標度網絡
• 7.5 社團結構的定義、劃分方法、空間結構
• 7.6 網絡結構演化模型-BA模型
• 7.7 網絡結構與功能研究簡介
• 7.8 疾病傳播的動力學模型
• 7.9 網絡上的SIS和ISR模型
• 7.10 博弈與囚徒困境
• 7.11 網絡上的博弈行為

• 8 複雜系統中的簡單規律

• 8.1 探索複雜性的核心科學問題
• 8.2 探索複雜性的目標

複雜性思維

• 1什麼是複雜性思維

• 1.1 什麼是複雜性思維
• 1.2 複雜性思維介紹
• 1.3 電影中的複雜系統
• 1.4 現實中的複雜系統
• 1.5 世界扁平化與失控
• 1.6 人工智能深度學習的衝擊
• 1.7 奇點臨近
• 1.8 什麼是複雜系統
• 1.9 什麼是複雜系統科學

• 2 系統科學簡史與現代複雜系統科學

• 2.1 系統科學發展簡史
• 2.2 生命遊戲與分形結構
• 2.3 現代系統科學聖地：聖達菲研究院
• 2.4 21世紀的複雜系統科學
• 2.5 複雜網絡
• 2.6 複雜系統的物理學
• 2.7 大數據
• 2.8 複雜系統相關書籍推薦

• 3 蜂群思維與湧現

• 3.1 大自然中的群體

• 3.1.1 蜂群、螞蟻覓食、阿米巴蟲、鳥群
• 3.1.2 生物學的發現
• 3.1.3 計算機模擬螞蟻覓食

• 3.1.4 計算機模擬鳥群規則
• 3.2 人類的群體

• 3.2.1 群體智慧實驗
• 3.2.2 人類的集體行為
• 3.2.3 社會力模型
• 3.2.4 交通系統

• 3.3 群體系統

• 3.3.1 群體行為的特點
• 3.3.2 蜂群思維

• 3.4 群集思維的應用方法

• 3.4.1 蟻群算法
• 3.4.2 粒子群優化算法
• 3.4.3 粘菌的智慧
• 3.4.4 N皇后問題

• 4 “湧現”與關於《馬姨》的大討論

• 4.1 課程回顧：群體系統

• 4.1.1 群體行為的特點
• 4.1.2 蜂群思維

• 4.2 課程回顧：群集思維的應用方法

• 4.2.1 蟻群算法、粒子群優化算法、粘菌的智慧、N皇后問題

• 4.3 湧現——群體思維的進階

• 4.3.1 什麼是湧現
• 4.3.2 什麼是 Pattern（斑圖）
• 4.3.3 湧現的案例

• 4.4 湧現與因果倒置
• 4.5 有無相生之道
• 4.6 關於小說《馬姨》的集體大討論

• 5 群體模擬與Netlogo

• 5.1 計算機模擬概論
• 5.2 Netlogo簡介
• 5.3 Netlogo實例

• 5.3.1 撞球模型
• 5.3.2 生命遊戲
• 5.3.3 朗頓的螞蟻
• 5.3.4 羊-草模型

• 6 認識元胞自動機

• 6.1 元胞自動機研究歷史
• 6.2 森林火災模型與臨界現象
• 6.3 沙堆模型與自組織臨界

• 7 探索元胞自動機

• 7.1 投票模型
• 7.2 一維元胞自動機模型與分類
• 7.3 元胞自動機音樂
• 7.4 混沌的邊緣

• 8 多主體模型模擬

• 8.1 聚會模型
• 8.2 種族隔離模型
• 8.3 貨幣轉移模型

• 8.3.1 帕累托分布
• 8.3.2 洛倫茲曲線與基尼係數

• 8.4 描述隨機變量的概率密度曲線

• 8.4.1 正態分布
• 8.4.2 冪律分布
• 8.4.3 指數分布

• 9 生物中的多主體模型

• 9.1 多主體模型——鳥群模型
• 9.2 多主體模型的一般建模步驟
• 9.3 多主體模型與元胞自動機模型的比較

• 10 系統動力學

• 10.1 多主體vs系統動力學
• 10.2 不同尺度的建模
• 10.3 微分方程vs差分方程
• 10.4 連續與離散
• 10.5 Logistic迭代方程
• 10.6 混沌
• 10.7 分形
• 10.8 費根鮑姆常數
• 10.9 普適性

• 11 複雜網絡

• 11.1 哥尼斯堡七橋問題
• 11.2 ER隨機圖

• 11.2.1 網絡滲流現象

• 11.3 Milgram實驗與六度分離理論

• 11.3.1 Bacon遊戲

• 11.4 網絡的距離

• 11.4.1 聚集係數

• 11.5 規則網vs隨機網

• 11.5.1 WS模型
• 11.5.2 無標度網絡

• 11.6 網絡上的動力學

• 12 時間與進化

• 12.1 時間與終極問題
• 12.2 物理學中的時間
• 12.3 牛頓時間
• 12.4 相對論時間
• 12.5 熱力學時間
• 12.6 生物學中的時間
• 12.7 進化論
• 12.8 遺傳算法簡介
• 12.9 “盲目的鐘錶匠”
• 12.10 交互式進化計算

• 13 規模法則

• 13.1 Scaling：規模縮放法則

• 13.1.1 生命體
• 13.1.2 城市
• 13.1.3 虛擬在線社區
• 13.1.4 公司

• 13.2 網絡：解讀Scaling的工具
• 13.3 Scaling得到的重要推論

• 14 稀缺的注意力資源

• 14.1 歷史回顧

• 14.1.1 注意力經濟
• 14.1.2 意願經濟
• 14.1.3 體驗經濟

• 14.2 占意理論

• 14.2.1 什麼是占意
• 14.2.2 占意的性質
• 14.2.3 解讀互聯網現象

• 14.3 眾包與人類計算

• 14.3.1 眾包1.0
• 14.3.2 眾包2.0——人類計算
• 14.3.3 眾包+人工智能

• 14.4 遊戲的世界

• 15 “自我”的湧現

• 15.1 實現自我的必要條件——反饋
• 15.2 湧現與層次
• 15.3 自創生系統及其特點
• 15.4 數學中的自我——自指
• 15.5 自指語句
• 15.6 自繪製計算機程序
• 15.7 蒯恩語句
• 15.8 哥德爾定理
• 15.9 複雜性與建構性自指
• 15.10 生命的自複製
• 15.11 自我意識

複雜系統中的冪律分布

• 1 白天鵝世界中的黑天鵝

• 1.1 白天鵝的世界
• 1.2 黑天鵝容易被發現嗎？
• 1.3 冪函數的對數線性
• 1.4 奇妙的標度不變性
• 1.5 黑天鵝有着大影響

• 2 從地震到神經元雪崩——普適的冪律法則

• 2.1 冪律分布在無生命的物理系統
• 2.2 有生命人體——人類、動物和植物的行為和表現
• 2.3 社會經濟系統中的冪律分布
• 2.4 大腦工作也需要冪律

• 3 從二八定律到長尾理論

• 3.1 不同語言的統一法則
• 3.2 Zipf律的最省力原則解釋
• 3.3 你相信80/20定律/Pareto法則嗎？
• 3.4 長尾理論
• 3.5 Zipf律，Pareto法則和冪律的關係

• 4 穩健又脆弱的無標度網絡

• 4.1 複雜網絡研究的典型代表
• 4.2 無標度網絡也具有普適性
• 4.3 無標度網絡的幾何特徵
• 4.4 無標度網絡的阿喀琉斯之踵
• 4.5 為什麼難以根除計算機病毒？

• 5 無標度的世紀之爭與冪律檢驗

• 5.1 複雜網絡研究的典型代表
• 5.2 無標度網絡也具有普適性
• 5.3 無標度網絡的幾何特徵
• 5.4 無標度網絡的阿喀琉斯之踵
• 5.5 為什麼難以根除計算機病毒？

• 6 複雜冪律背後的簡單規則

• 6.1 Gibrat模型及其擴展
• 6.2 貨幣轉移模型
• 6.3 偏好依附模型
• 6.4 猴子隨機打字模型
• 6.5 為什麼冪律分布這麼普遍

• 7 規模法則與冪律分布

• 7.1 什麼是規模法則？
• 7.2 冪律分布與冪律關係
• 7.3 Kleiber定律
• 7.4 城市中的規模法則
• 7.5 多樣性的亞線性規模法則
• 7.6 連接度的超線性規模法則
• 7.7 從冪律分布到規模法則
• 7.8 Zipf定律與Heaps定律
• 7.9 規模依賴的分布