
AlexNet は畳み込みニューラル ネットワーク(CNN)の構造の名前であり、Alex Krizhevsky が博士課程の指導教官である イリヤ・サツケバー および ジェフェリー・ヒントン と共同で設計した。
AlexNet は、2012年9月30日に開催された ILSVRC 2012 に参加した。AlexNet はエラー率 15.3% で優勝し、次点よりも 10.8% 以上低かった。この論文の主な内容は、モデルの深さが高性能には不可欠であるというもので、計算コストは高くなるものの、GPU を用いて学習することで実現した。
GPU で実装した高速な畳み込みニューラルネットワークが画像認識コンテストで優勝したのは AlexNet が初めてではなかった。K. Chellapilla ら(2006)による GPU 上の畳み込みニューラルネットワークは、CPU 上の同等の実装と比べて 4 倍高速だった。IDSIA での Dan Cireșan ら(2011)のディープ畳み込みニューラルネットワークは、すでに 60 倍の速度で、2011年8月には超人的な性能を達成していた。2011年5月15日から2012年9月10日までの間に、彼らの畳み込みニューラルネットワークは 4 つ以上の画像コンテストで優勝している。また、複数の画像データベースに関する文献の中での最高性能を大幅に更新した。
AlexNet の論文によると、Cireșan の初期のネットワークは「多少似ている」とのこと。 どちらも元々は GPU 上で動作するように CUDA で書かれた。実際には、どちらもヤン・ルカンら(1989)が発表した畳み込みニューラルネットワーク・デザインの変形であり、ネオコグニトロンと呼ばれる福島邦彦の畳み込みニューラルネットワークの構造に誤差逆伝播法(バックプロパゲーション)を適用したものだ。 この構造は、J. Weng の max-pooling と呼ばれる手法で後に修正された 。
2015年には、ImageNet 2015 コンテストで優勝した Microsoft Research Asia の100層以上の非常に深い畳み込みニューラルネットワークにAlexNet が勝った。
AlexNet には 8 つのレイヤーが含まれていた。最初の 5 つは畳み込み層で、そのうちのいくつかに max-pooling 層が続き、最後の 3 つは全結合層だった。活性化関数には、非飽和型の ReLU を使用し、tanh および sigmoid よりも学習性能が向上している。
AlexNet は、コンピュータビジョンで発表された最も影響力のある論文の 1 つであると考えられており、深層学習を加速するために畳み込みニューラルネットワークと GPU を使用してさらに多くの論文が発表されている。 Google Scholar によると、AlexNet の論文は2021年現在で 80,000 回以上引用されている。