生成AIは機械学習から始まる-その6：なぜ「深層」なのか

「生成AIは機械学習から始まる」も第6回目となりました。今回は”なぜ「深層」なのか”と題して、ニューラルネットワークが多層化した理由とこれまでの経緯についてご紹介していきます。機械学習そのものを大きく変えた出来事でしたので、機械学習に興味のあるDevは是非チェックしてみてください。

では、さっそくはじめていきましょう！

第一回目から五回目までの記事は以下リンクからご覧ください。

　第一回目：生成AIは機械学習から始まる：基礎から理解する技術の系譜と実装への道

　第二回目：生成AIは機械学習から始まる-その2：機械学習のアプローチ

　第三回目：生成AIは機械学習から始まる-その3：教師なし学習（Unsupervised Learning）

　第四回目：生成AIは機械学習から始まる-その4：強化学習Reinforcement Learning）

　第五回目：生成AIは機械学習から始まる-その5：深層学習（Deep Learning）の登場

なぜ「深層」なのか？多層化がもたらしたブレイクスルー

深層学習（Deep Learning）の「深層（Deep）」は、ニューラルネットワークの層の深さを指しますが、深層学習は単に層を積み重ねた技術ではありません。

そこには、機械学習の歴史を変える本質的なブレイクスルーがありました。

深層学習前夜：AIの冬

ニューラルネットワークの歴史は、実は1940年代まで遡ります。

過去の経緯を少しだけご紹介しておきます。

第一次AIブーム（1950年代〜1960年代） パーセプトロンの発明により、ニューラルネットワークは大きな期待を集めました。しかし、1969年にマービン・ミンスキーとシーモア・パパートが著書『Perceptrons』で、単層パーセプトロンの限界を数学的に証明しました。

最も有名なのがXOR問題です。

XORとは

XOR（排他的論理和）は、入力が異なるときだけ1を出力する論理演算です。

• (0, 0) → 0
• (0, 1) → 1
• (1, 0) → 1
• (1, 1) → 0

この単純な問題が、単層パーセプトロンでは解けないことが証明されました…。

これにより、ニューラルネットワーク研究への投資は激減し、「AIの冬」と呼ばれる停滞期に入ったと言われています。

第二次AIブーム（1980年代） 1986年、ジェフリー・ヒントンらが誤差逆伝播法を再発見し、多層ニューラルネットワークの訓練が可能になりました。XOR問題も、2層のネットワークで簡単に解けることが示されました。

しかし、再び壁が現れました。それが、「勾配消失問題」や「計算資源の不足」「データの不足」問題でした。

• 勾配消失問題：深いネットワークでは、逆伝播の過程で勾配が消失し、初期層が学習できない
• 計算資源の不足：当時のコンピュータでは大規模なネットワークの訓練が困難
• データ不足：大規模な訓練データセットが存在しなかった

当時は、これらの問題を解決することが非常に困難であった為に、1990年代から2000年代初頭、ニューラルネットワークは再び下火になり、サポートベクターマシン（SVM）やランダムフォレストなどの手法が主流となりました。

2012年の革命：ImageNetでのブレイクスルー

転機は2012年に訪れました。トロント大学のジェフリー・ヒントンとその学生たちが開発したAlexNetが、ImageNet画像認識コンペティションで圧倒的な性能を示したのです。

AlexNetの成績を見てみましょう。

• エラー率：15.3%（従来の最高は26.2%）
• 2位に10%以上の差をつけての圧勝

この成功は偶然ではありませんでした。3つの重要な要素が揃った瞬間と言われています。

1. アルゴリズムの革新

• ReLU活性化関数：勾配消失問題を大幅に軽減
• Dropout：過学習を防ぐ正則化技術
• データ拡張：限られたデータから学習効率を向上
• バッチ正規化：学習の安定化（2015年に登場）

2. 計算資源の進化

• GPU（Graphics Processing Unit）の活用：並列計算により訓練速度が数十倍から数百倍に向上
• AlexNetは2つのGPUを使用して訓練された

3. 大規模データセットの登場

• ImageNet：120万枚以上のラベル付き画像、1000カテゴリ
• インターネットの普及により、大規模データの収集が可能に

この成功を契機に、深層学習は爆発的に発展し、機械学習の中心的技術となりました。

深層化の本質的な利点

なぜ深い層構造が効果的なのか？その理由は、階層的特徴表現にあります。

階層的特徴学習

深層ニューラルネットワークは、データから階層的に特徴を抽出します。各層が異なるレベルの抽象度で特徴を学習するのです。

画像認識の例をあげながら、その特徴を見ていきましょう。

第1層（低レベル特徴）

• エッジ（縦線、横線、斜線）
• 色のグラデーション
• 単純なテクスチャ

第2〜3層（中レベル特徴）

• エッジの組み合わせから形状を認識
• 角や曲線
• より複雑なテクスチャやパターン

第4〜5層（高レベル特徴）

• 物体の部品（目、耳、車輪など）
• 特定の形状の組み合わせ

最終層（抽象的特徴）

• 完全な物体の概念（猫、犬、車など）
• 文脈的な理解

この階層構造は、人間の視覚野の働きに驚くほど似ています。

専門家ではありませんので人間の脳については詳しくはありませんが、人間の脳は、視覚情報は段階的に処理され、単純な特徴から複雑な概念へと抽象化されていくといった過程を持っているそうです。

効率性と表現力のバランス

深層ネットワークは、浅いネットワークと比べて、パラメータ効率が高い 同じ表現力を得るために必要なパラメータ数が指数関数的に少なくなります。

例えば、ある関数を近似するのに

• 浅いネットワーク：10億個のパラメータが必要
• 深いネットワーク：100万個のパラメータで十分

汎化能力が高い 階層的構造により、訓練データのパターンを過度に暗記するのではなく、一般的な特徴を学習します。

次に、転移学習が可能 下位層で学習された基本的な特徴（エッジやテクスチャ）は、多くのタスクで共通して有用です。これにより、あるタスクで訓練したモデルを別のタスクに応用する転移学習（Transfer Learning）が可能になります。

例えば、ImageNetで訓練されたモデルの初期層は、医療画像診断や衛星画像解析など、全く異なるドメインでも有効に機能します。

次回は、「深層学習を支える技術革新」と題し、深層学習の基盤となった技術と深層学習が可能にした新たな応用領域についてご紹介する予定です。

解説記事「生成AIは機械学習から始まる-その6：なぜ「深層」なのか」の続きは

現在準備中です。

公開までお待ちください。

APPSWINGBYは、最先端の技術の活用と、お客様のビジネスに最適な形で実装する専門知識を有しております。システムのセキュリティ対策としてのシステムアーキテクチャの再設計からソースコードに潜むセキュリティ脆弱性の改修の他、リファクタリング、リアーキテクチャ、DevOps環境の構築、ハイブリッドクラウド環境の構築、テクノロジーコンサルティングサービスなど提供しています。

貴社のセキュリティ対策等についてご相談されたい方は、お問い合わせフォームからお気軽にご連絡ください。システムの専門家が、貴社の課題解決をサポートいたします。

システム開発にお困りではありませんか？

もしも今現在、

• どのように開発を依頼したらよいかわからない
• どのように開発を依頼したらよいかわからない
• 企画や要件定義の段階から依頼できるのか知りたい
• システム開発費用がどれくらいかかるのか知りたい
• 見積りがほしい

など、システム開発に関するご相談・ご依頼がございましたら、お気軽にご相談ください。APPSWINGBYでは、「アプリでお客様のビジネスを加速し、お客様とともにビジネスの成功と未来を形作ること」をミッションとしています。大手SIerやＲ＆Ｄ部門で培った経験やノウハウ、高度な技術力でお客様の「やりたい」を実現します。

今すぐ相談

まずはお気軽にご相談ください

この記事を書いた人

株式会社APPSWINGBY マーケティング

APPSWINGBY（アップスイングバイ）は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融（銀行・証券・保険・決済）、メディア、流通・EC・運輸 など多数

株式会社APPSWINGBY マーケティング

APPSWINGBY（アップスイングバイ）は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融（銀行・証券・保険・決済）、メディア、流通・EC・運輸 など多数

監修

株式会社APPSWINGBY 　CTO 川嶋秀一

動画系スタートアップや東証プライム上場企業のR&D部門を経て、2019年5月より株式会社APPSWINGBY 取締役兼CTO。
Webシステム開発からアプリ開発、AI導入、リアーキテクチャ、リファクタリングプロジェクトまで幅広く携わる。
C, C++, C#, JavaScript, TypeScript, Go, Python, PHP, Java などに精通し、Vue.js, React, Angular, Flutterを活用した開発経験を持つ。
特にGoのシンプルさと高パフォーマンスを好み、マイクロサービス開発やリファクタリングに強みを持つ。
「レガシーと最新技術の橋渡し」をテーマに、エンジニアリングを通じて事業の成長を支えることに情熱を注いでいる。

株式会社APPSWINGBY 　CTO 川嶋秀一

動画系スタートアップや東証プライム上場企業のR&D部門を経て、2019年5月より株式会社APPSWINGBY 取締役兼CTO。
Webシステム開発からアプリ開発、AI導入、リアーキテクチャ、リファクタリングプロジェクトまで幅広く携わる。
C, C++, C#, JavaScript, TypeScript, Go, Python, PHP, Java などに精通し、Vue.js, React, Angular, Flutterを活用した開発経験を持つ。
特にGoのシンプルさと高パフォーマンスを好み、マイクロサービス開発やリファクタリングに強みを持つ。
「レガシーと最新技術の橋渡し」をテーマに、エンジニアリングを通じて事業の成長を支えることに情熱を注いでいる。