XOR問題とは、排他的論理和（Exclusive OR）の真理値表を、単一のパーセプトロン（線形分離可能なモデル）では学習・識別することができないという、初期のニューラルネットワーク研究における限界を示した問題のことであり、非線形な境界線が必要なパターンを扱うためには、多層構造（隠れ層）を持つニューラルネットワーク（多層パーセプトロン）が必要であることを理論的に証明した機械学習の歴史において重要な転換点となった課題のことです。

XOR（排他的論理和）は、入力が異なるときだけ1を出力する論理演算です。

(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0

この単純な問題が、単層パーセプトロンでは解けないことが証明されました。これにより、ニューラルネットワーク研究への投資は激減し、「AIの冬」と呼ばれる停滞期に入りました。

第二次AIブーム（1980年代）

第二次AIブーム（1980年代） 1986年、ジェフリー・ヒントンらが誤差逆伝播法を再発見し、多層ニューラルネットワークの訓練が可能になりました。XOR問題も、2層のネットワークで簡単に解けることが示されました。

しかし、再び壁が現れましたのです。

それが以下の３つです。

勾配消失問題：深いネットワークでは、逆伝播の過程で勾配が消失し、初期層が学習できない
計算資源の不足：当時のコンピュータでは大規模なネットワークの訓練が困難
データ不足：大規模な訓練データセットが存在しなかった

2025年も終わろうとしている今も似たような問題が世界各地で出ているので、何とも言い得ないのですが、1990年代から2000年代初頭、ニューラルネットワークは再び下火になり、サポートベクターマシン（SVM）やランダムフォレストなどの手法が主流となったのです。

2012年の革命：ImageNetでのブレイクスルー

転機は2012年に訪れました。トロント大学のジェフリー・ヒントンとその学生たちが開発したAlexNetが、ImageNet画像認識コンペティションで圧倒的な性能を示したのです。

AlexNetの成績

エラー率：15.3%（従来の最高は26.2%）
2位に10%以上の差をつけての圧勝

1. アルゴリズムの革新

ReLU活性化関数：勾配消失問題を大幅に軽減
Dropout：過学習を防ぐ正則化技術
データ拡張：限られたデータから学習効率を向上
バッチ正規化：学習の安定化（2015年に登場）

2. 計算資源の進化

GPU（Graphics Processing Unit）の活用：並列計算により訓練速度が数十倍から数百倍に向上
AlexNetは2つのGPUを使用して訓練された

3. 大規模データセットの登場

ImageNet：120万枚以上のラベル付き画像、1000カテゴリ
インターネットの普及により、大規模データの収集が可能に

この成功を契機に、深層学習は爆発的に発展し、機械学習の中心的技術となったと言われています。

大分、駆け足で多層が主流になったきっかけ、ImageNetでのブレイクスルーについてご紹介してきました。過去のことですので、まぁこんな経緯をたどりながら今、多層化、深層の領域にいるのだな程度に考えて頂ければ良いと思います。

次回は、皆大好き”自然言語処理（Natural Language Processing, NLP）”について少しづつ踏み込んでみたいと思います。

解説記事「生成AIは機械学習から始まる-その9：多層化がもたらしたブレイクスルー」の続きは

現在準備中です。

公開までお待ちください。

APPSWINGBYは、最先端の技術の活用と、お客様のビジネスに最適な形で実装する専門知識を有しております。AI開発から既存の業務システムへの統合などの他、リファクタリング、リアーキテクチャ、DevOps環境の構築、ハイブリッドクラウド環境の構築、システムアーキテクチャの再設計からソースコードに潜むセキュリティ脆弱性の改修の他、テクノロジーコンサルティングサービスなど提供しています。

貴社のセキュリティ対策等についてご相談されたい方は、お問い合わせフォームからお気軽にご連絡ください。システムの専門家が、貴社の課題解決をサポートいたします。

システム開発にお困りではありませんか？

もしも今現在、

どのように開発を依頼したらよいかわからない
どのように開発を依頼したらよいかわからない
企画や要件定義の段階から依頼できるのか知りたい
システム開発費用がどれくらいかかるのか知りたい
見積りがほしい

など、システム開発に関するご相談・ご依頼がございましたら、お気軽にご相談ください。APPSWINGBYでは、「アプリでお客様のビジネスを加速し、お客様とともにビジネスの成功と未来を形作ること」をミッションとしています。大手SIerやＲ＆Ｄ部門で培った経験やノウハウ、高度な技術力でお客様の「やりたい」を実現します。

今すぐ相談

まずはお気軽にご相談ください

この記事を書いた人

株式会社APPSWINGBY マーケティング

APPSWINGBY（アップスイングバイ）は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融（銀行・証券・保険・決済）、メディア、流通・EC・運輸など多数

株式会社APPSWINGBY マーケティング

ご支援業種

情報・通信、医療、製造、金融（銀行・証券・保険・決済）、メディア、流通・EC・運輸など多数

監修

株式会社APPSWINGBY 　CTO 川嶋秀一

動画系スタートアップや東証プライム上場企業のR&D部門を経て、2019年5月より株式会社APPSWINGBY 取締役兼CTO。
Webシステム開発からアプリ開発、AI導入、リアーキテクチャ、リファクタリングプロジェクトまで幅広く携わる。
C, C++, C#, JavaScript, TypeScript, Go, Python, PHP, Java などに精通し、Vue.js, React, Angular, Flutterを活用した開発経験を持つ。
特にGoのシンプルさと高パフォーマンスを好み、マイクロサービス開発やリファクタリングに強みを持つ。
「レガシーと最新技術の橋渡し」をテーマに、エンジニアリングを通じて事業の成長を支えることに情熱を注いでいる。