LeNet-5とは
LeNet-5は、畳み込みニューラルネットワーク（CNN）の原型となったモデルであり、手書き文字認識や数字認識のために設計され、畳み込み層、プーリング層、および全結合層を多層的に組み合わせるという現代CNNの基本構造を確立したネットワークのことです。
LeNet-5の概要とCNNにおける歴史的意義
LeNet-5は、ヤン・ルカン（Yann LeCun）らによって1998年に発表されました。これは、特に画像認識分野において、ディープラーニングの基礎技術である畳み込みニューラルネットワーク（CNN）の実用的な有効性を初めて示したモデルとして、歴史的に極めて重要です。
このモデルは、アメリカの郵便番号や銀行の小切手に書かれた手書き数字を認識するために開発され、当時の認識精度を大幅に向上させました。LeNet-5が確立した畳み込みとプーリングを交互に配置し、最後に全結合層で分類するという階層的な構造は、その後のAlexNet、VGG、ResNetといった現代の高性能な画像認識モデルの設計に直接的な影響を与えています。
主な目的は、画像から直接特徴を抽出し、その特徴を基に手書き数字や文字を高い精度で自動的に分類することでした。
LeNet-5のアーキテクチャ
LeNet-5は、合計で7つの学習可能な層（3つの畳み込み層、2つのプーリング層、2つの全結合層）から構成されています。入力は、一般的に32×32ピクセルのグレースケール画像です。
1. 畳み込み層（C層）とプーリング層（S層）の組み合わせ
LeNet-5の中核は、特徴抽出を行う畳み込み層と、位置のずれに対する耐性を持たせ、次元を削減するプーリング層の組み合わせにあります。
- 第1層: C1（畳み込み層）:
- 32×32の入力画像に対し、5×5のカーネル（フィルタ）を6種類適用し、28×28の特徴マップを6枚出力します。
- 第2層: S2（プーリング層/サブサンプリング層）:
- C1の各特徴マップに対し、2×2の領域で平均値を計算し、出力を14×14に縮小します（平均プーリング）。これにより、ノイズに対する耐性や、微小な位置ずれに対する頑健性が生まれます。
- 第3層: C3（畳み込み層）:
- S2の14×14の特徴マップを入力として受け取ります。この層の接続は、すべての入力マップと接続するのではなく、部分的な疎な結合になっており、計算量を削減しています。
- 5×5のカーネルを16種類適用し、10×10の特徴マップを16枚出力します。
- 第4層: S4（プーリング層/サブサンプリング層）:
- C3の各特徴マップに対し、再び2×2の平均プーリングを適用し、出力を5×5に縮小します。
2. 全結合層（F層）と出力層
特徴抽出された情報は、最後に全結合層に渡されます。
- 第5層: C5（畳み込み層/全結合層）:
- S4の5×5の特徴マップ（16枚）は、5×5のカーネルと完全に接続され、120個の特徴ベクトルに変換されます。実質的には、すべての入力がすべての出力に接続される全結合層として機能します。
- 第6層: F6（全結合層）:
- C5の120個の入力を受け取り、84個の出力ユニットに接続されます。
- 第7層: 出力層:
- 最終的な10個の出力ユニット（0から9の各数字に対応）を持ち、Softmax関数（オリジナルの論文ではRBF（放射基底関数））を使用して、各クラスに属する確率を決定します。
採用された重要な要素
LeNet-5の成功には、以下の設計上の特徴が大きく貢献しました。
- 重み共有（Weight Sharing）: 畳み込み層では、特定のカーネルが特徴マップ全体で共有されます。これにより、学習すべきパラメータの数が劇的に減り、効率的な学習が可能になりました。
- 階層的な特徴抽出: 複数の畳み込みとプーリングの繰り返しにより、モデルはピクセルレベルの低レベルな特徴から、より抽象的で高レベルな特徴へと徐々に階層的に学習することができました。
- 活性化関数: 当時広く使われていたシグモイド関数が使用されていました。これは、現代のCNNで主流となっているReLU関数とは異なりますが、非線形性を導入して複雑なパターン学習を可能にしました。
関連用語
お問い合わせ
システム開発・アプリ開発に関するご相談がございましたら、APPSWINGBYまでお気軽にご連絡ください。
APPSWINGBYの
ソリューション
APPSWINGBYのセキュリティサービスについて、詳しくは以下のメニューからお進みください。
システム開発
既存事業のDXによる新規開発、既存業務システムの引継ぎ・機能追加、表計算ソフトによる管理からの卒業等々、様々なWebシステムの開発を行っています。
iOS/Androidアプリ開発
既存事業のDXによるアプリの新規開発から既存アプリの改修・機能追加まで様々なアプリ開発における様々な課題・問題を解決しています。
リファクタリング
他のベンダーが開発したウェブサービスやアプリの不具合改修やソースコードの最適化、また、クラウド移行によってランニングコストが大幅にあがってしまったシステムのリアーキテクチャなどの行っています。
ご相談・お問い合わせはこちら
APPSWINGBYのミッションは、アプリでビジネスを加速し、
お客様とともにビジネスの成功と未来を形作ること。
私達は、ITテクノロジーを活用し、様々なサービスを提供することで、
より良い社会創りに貢献していきます。
T関する疑問等、小さなことでも遠慮なくお問合せください。３営業日以内にご返答致します。
ご相談・お問合せはこちら
APPSWINGBYのミッションは、アプリでビジネスを加速し、お客様とともにビジネスの成功と未来を形作ること。
私達は、ITテクノロジーを活用し、様々なサービスを提供することで、より良い社会創りに貢献していきます。
IT関する疑問等、小さなことでも遠慮なくお問合せください。３営業日以内にご返答させて頂きます。
