ImageNet Classification with Deep CNNs/zh

Research Paper
Authors	Alex Krizhevsky; Ilya Sutskever; Geoffrey E. Hinton
Year	2012
Venue	NeurIPS
Topic area	Deep Learning
Difficulty	Research
Source	View paper

Other languages:

English
Español
中文

ImageNet Classification with Deep Convolutional Neural Networks是Krizhevsky、Sutskever和Hinton於2012年發表的論文,該論文提出了AlexNet,這是一個深度卷積神經網絡,以巨大優勢贏得了2012年ImageNet大規模視覺識別挑戰賽(ILSVRC)。該論文被廣泛認為是現代深度學習革命的催化劑,證明了在GPU上訓練的深度神經網絡能夠在大規模圖像識別任務中大幅超越傳統的計算機視覺方法。

概述

在AlexNet出現之前,圖像分類的主流方法依賴於人工設計的特徵(如SIFT、HOG或Fisher向量),這些特徵被輸入到諸如SVM等淺層分類器中。雖然神經網絡在MNIST等較小數據集上展現出了潛力,但尚未成功擴展到複雜的大規模識別任務。許多研究者質疑深度網絡是否能夠與精心設計的特徵流水線競爭。

Krizhevsky等人通過在ImageNet LSVRC-2010數據集(120萬張圖像,1000個類別)上訓練一個具有6000萬參數的深度卷積神經網絡,打破了這一假設,其top-5錯誤率幾乎僅為最佳競爭方法的一半。這一結果證明了大規模數據集、GPU計算和架構創新的結合能夠釋放深度網絡的表徵能力。

主要貢獻

GPU上的大規模CNN訓練:這是在GPU上成功訓練深度卷積網絡的最早演示之一,使用了一個跨兩塊各具3 GB內存的NVIDIA GTX 580 GPU拆分的模型。
ReLU激活函數:採用整流線性單元( $f(x) = \max(0, x)$ )代替傳統的sigmoid或tanh激活,使深度網絡的訓練速度大大加快。
數據增強:使用隨機圖像平移、水平翻轉和基於PCA的顏色增強來人為擴大訓練集,減少過擬合。
Dropout正則化:在全連接層中應用dropout(概率為0.5),這是該技術在大型卷積網絡中最早的應用之一。
局部響應歸一化:一種受生物神經元側抑制啟發的歸一化方案,應用於ReLU激活之後。
重疊池化:使用步幅小於核大小的max-pooling,與非重疊池化相比略微減少了過擬合。

方法

AlexNet由八個可學習的層組成:五個卷積層,後接三個全連接層。最後一個全連接層輸入到一個1000路softmax,以生成類別概率分佈。

該網絡處理224x224的RGB圖像。第一個卷積層應用96個大小為11x11、步幅為4的卷積核,大幅減少了空間維度。後續層使用更小的卷積核(5x5和3x3)。該架構在兩塊GPU之間拆分,每塊GPU處理一半的特徵圖,跨GPU通信僅在某些層發生。

ReLU激活函數是一項關鍵創新。與當時標準的飽和非線性函數(sigmoid、tanh)相比,在相同架構下,ReLU使訓練收斂速度大約快了六倍:

$f(x) = \max(0, x)$

數據增強以兩種形式應用。第一種從256x256的圖像中提取隨機的224x224圖塊(及其水平翻轉),將訓練集擴大了2048倍。第二種執行基於PCA的顏色擾動,將RGB像素值主成分的倍數加到每張圖像上,使top-1錯誤率降低了1%以上。

訓練期間,dropout被應用於前兩個全連接層的輸出,以0.5的概率隨機將每個神經元的輸出置零。這使收斂所需的迭代次數大約增加了一倍,但顯著減少了過擬合。

該網絡使用隨機梯度下降進行訓練,batch大小為128,動量為0.9,權重衰減為0.0005。學習率初始化為0.01,當驗證誤差停止改善時手動按10倍因子降低。在兩塊NVIDIA GTX 580 GPU上,訓練大約耗時五到六天。

結果

在ILSVRC-2012競賽中,AlexNet取得了:

在測試集上top-5錯誤率為15.3%,而第二名(使用傳統特徵結合SVM)為26.2%。這10.9個百分點的提升在該競賽歷史上前所未有。
top-1錯誤率為37.5%,同樣大幅領先於競爭方法。

在ILSVRC-2010測試集(其標籤公開可用)上,該網絡分別取得了37.5%和17.0%的top-1和top-5錯誤率,超過了之前47.1%和28.2%的最佳結果。

對所學特徵的定性分析表明,第一個卷積層學到了一組頻率和方向選擇性濾波器以及顏色特定濾波器——令人聯想到初級視覺皮層中的簡單細胞。兩條GPU路徑的特化方式不同,其中一塊GPU主要學習與顏色無關的特徵,而另一塊學習顏色特定的特徵。

作者還證明了AlexNet學到的特徵能夠很好地遷移到其他任務,在其他數據集上將最後一層的特徵與簡單分類器結合使用時,取得了具有競爭力的結果。

影響

AlexNet被廣泛認為點燃了深度學習革命。其在2012年ImageNet競賽中的決定性勝利使計算機視覺社區——以及更廣泛的人工智能領域——確信深度神經網絡是處理感知任務的可行而強大的方法。在兩年內,ImageNet中幾乎所有的有競爭力參賽作品都使用了深度卷積網絡,到2015年,top-5錯誤率已降至人類水平之下。

該論文引入或推廣了若干技術(ReLU、dropout、GPU訓練、數據增強),這些技術成為了標準實踐。它直接影響了後續的架構,包括VGGNet、GoogLeNet和ResNet。本工作率先將GPU用於訓練,改變了機器學習的硬件格局,並推動了專用AI加速器的發展。

AlexNet始終被列為有史以來最有影響力的機器學習論文之一,是人工智能歷史上的一座里程碑。

該論文的成功也驗證了大規模標註數據集對訓練深度網絡的重要性。由Fei-Fei Li及合作者整理的ImageNet數據集本身被證明是不可或缺的——沒有120萬張標註圖像,深度網絡的容量就無法被充分利用。這一洞見推動了在許多領域創建大規模數據集。

Krizhevsky、Sutskever和Hinton在多倫多大學的合作體現了深度學習復興的學術起源,三人後來都在大型科技公司中,在該領域的後續發展中扮演了核心角色。

參見

參考文獻

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NeurIPS 2012).
Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., & Fei-Fei, L. (2009). ImageNet: A Large-Scale Hierarchical Image Database. CVPR 2009.
Simonyan, K. & Zisserman, A. (2015). Very Deep Convolutional Networks for Large-Scale Image Recognition. ICLR 2015.