深層学習と集団的知性の関係についての論文"Collective intelligence for deep learning: A survey of recent developments" の論文要約メモです。
はじめに
今回まとめる論文はこちら:
Collective intelligence for deep learning: A survey of recent developments
- 2022/09 公開
- 後にSakana AIを立ち上げたDavid Haによるレビュー論文
Sakana AIが自らの方針を説明するときに引用している論文でもあります。
※ 本記事で掲載する図は全て上記論文からの引用です。
AIが人工生命的アプローチともっとかけ合わさっていくと、おもしろい世界が見れるんじゃなかろうか
— BioErrorLog (@bioerrorlog) May 6, 2024
深層学習と集団的知性 | 論文: Collective intelligence for deep learning: A survey of recent developments - BioErrorLog Tech Blog https://t.co/6RSpG7QMvS
Collective intelligence for deep learning: A survey of recent developments
概要
- 背景
- ここ10年、深層学習は幅広い領域で目覚ましい成果を出してきた
- コンピュータビジョン、自然言語処理、強化学習などなど
- ここ10年、深層学習は幅広い領域で目覚ましい成果を出してきた
- 深層学習の課題
- 低いロバスト性
- 新規タスクへの順応力
- 確固たる前提条件が必要
- 要は振る舞いが"硬い"
- 集団的知性: Collective intelligence
- 多くの個体の相互作用から創発する知性
- 自然界には広く見られる現象: アリ, 脳細胞, 人間社会, etc...
- キーワード: 自己組織化, 創発的行動, 群最適化, セルオートマトン
- 深層学習と集団的知性
- 両者は影響しあってきた
- この2つが交わる領域の面白い研究を紹介するよ
深層学習の歴史と特徴
深層学習の歴史は古い
- 誤差逆伝播法を用いたニューラルネットワークの登場は1980年代まで遡る
- その後しばらく注目を浴びることはなかった
2012年、深層学習が突如注目を浴びる
- AlexNetが画像認識コンペで優勝
- 2位に大きく差をあけて勝利
- GPUを活用してニューラルネットワークを学習
- そして様々な領域で深層学習が使われるようになった
- コンピュータビジョン
- 画像認識, 画像生成
- 自然言語処理
- テキスト生成
- 強化学習
- 音声認識, 音声生成
深層学習の課題: その振る舞いの硬さ
- ロバストでない: 変化に弱い
- 入力データの変更に弱い
- 想定されていないタスクに弱い
- 入力形式や設定が固定である必要がある
- 人間による"エンジニアリング"の労力を要する
- 特定のタスクを解くための特定アーキテクチャが設計される必要がある
- 例: AlexNetの複雑なアーキテクチャを見よ
エンジニアリング vs 順応的アプローチ
- 既存の深層学習が抱える問題は、エンジニアリング的アプローチの課題とも言える
- ニューラルネットワークの構築は、考え方が"橋の構築"に近い
- 橋をはじめとして、エンジニアリングで作られたものは、外界の変化に"順応する"のではなく"耐える"ように作られている
- 順応的アプローチ
- 順応的アプローチは自然界に多く見られる
- 例: 集団的知性, 自己組織化, 群最適化など
- アリが作る橋は、環境に耐えるというより順応している
深層学習と順応的アプローチ
- 深層学習がこれまでエンジニアリング的アプローチを辿ってきたのは、必然ではなく偶然
- 現に最近は順応的アプローチを取り入れた深層学習の研究も出てきている
- セルオートマトンを応用した画像処理ニューラルネットワーク
- 自己組織化エージェントを利用した強化学習
- GPUをはじめとするハードウェアの進歩も、深層学習と集団的知性の交わりを後押ししている
集団的知性の歴史と特徴
集団的知性: Collective Intelligence/CI とは
- 個々の個体の相互作用によって創発する分散型の知性
- キーワード: 多様性, 独立性, 分散化
- 自然界には普遍的に見られる現象
集団的知性のシミュレーション
- 1993年にはロボットを用いた社会的相互作用の研究が行われた
- 2000年にはアリの巣にインスパイアされたシミュレーション研究
- 2003年にはBrownian agent modelの研究
集団的知性の研究の方向性
- 問題の解決というより、原理の理解のために研究されてきた
- この点が人工知能の歴史と異なっている
- 人工知能は、主に問題の解決を目指してきた
- 分類問題, 最適化問題などなど
Cellular Neural Networkの歴史
1980年代、Leon ChuaらのグループによってCellular Neural Networkが作られる
- Cellular Neural Network: ニューラルネットワークを活用したセルオートマトン
- セル(or ニューロン)は隣接したセルと相互作用する
- 自己と隣接セルの状態を入力とした非線形関数によって、自己の状態が更新され続ける
- 深層学習のような離散時間ではなく、連続時間で動作する
- 多くは非線形アナログ電子部品として実装される
Cellular Neural Networkの流行と衰退
- 1990年代から2000年代中盤にかけて、Cellular Neural NetworkはAIの一領域として栄えた
- 適用先: 画像処理, テクスチャ分析, 偏微分, 生物システムのモデリングなどなど
- 多くの論文や学会発表が行われ、学問領域として活気があった
- スタートアップも複数創業された
- しかし2000年代後半、突如として下火になった
- Cellular Neural Network用に開発されていたハードウェアへの関心は、GPUに取って代わられた
- Google trendsで"Deep Learning"と"Cellular Neural Network"を調べると、その関心の入れ替わりがよくわかる(上図参照)
- 衰退した理由の一つは、その使いやすさの差にあるだろう
- 深層学習はそのエコシステムが発展し、初歩的なプログラミングができれば誰でも試すことができる
- 一方Celluar Neural Networkは、アナログ回路をはじめとする電子エンジニアリングの知識が必要で、使いこなすハードルが高かった
- Cellular Neural Networkは衰退したが、そのコンセプトは生き続ける
- 複雑系, 自己組織化, 創発行動
深層学習と集団的知性
集団的知性は、複数の独立した個体の相互作用から現れる知性。 ニューラルネットワークと結びつけて考えてみよう。
画像処理
Neural Cellular Automata (neural CA)
- ピクセルをニューラルネットワークのセルとみなす
- 隣接セルの状態をもとに自身の色を決定するよう学習させる
- このように各セルは隣接セルの情報しか知らなくても、全体として画像を表現できるようになる
- この方法は、ノイズや画像の損傷にも順応できる
- 損傷したら"再生"できる
- テキスト分類への応用
- MNIST分類タスクに応用(下図参照)
- 各セルが分類を判定
3Dにおけるneural CAの再生
- 3Dモデルの再生/修復ができれば、多くの応用が効いて便利
- スキャンデータの補完など
- マインクラフトを用いて、一部のブロックから全体を再生する研究(下図参照)
- 数千のブロックで構成されるオブジェクトの再生
- クリーチャーの再生
深層強化学習
深層強化学習(Deep RL)の課題
- 深層学習と同様、想定した前提条件の変化に弱い
- 入力/出力様式の変化
- 例: 4本脚エージェントを6本脚にする
- タスクの変化
- 入力/出力様式の変化
モジュール化されたエージェント: ソフトボディーロボのシミュレーション
- ソフトボディーロボを、それぞれニューラルネットによって制御されたモジュールで構成する(下図)
- 各モジュールは、各々の認知に基づいて行動する
- 結果、歩行行動を習得した
- neural CAと組み合わせ、自らの体を再生するソフトボディーロボットの研究もある
ロボットアクチュエーターとしてのニューラルネットモジュール
- それぞれのアクチュエーターモジュールは、自分の認知範囲の情報のみを入力とし、自分の制御範囲のみを制御する
- 隣接モジュール間で情報をやり取りする
- 形態が変化しても、同一のポリシーで歩行が可能
Deep RLの拡張
- 多様な形態を創発させるエージェント
- 入力情報のノイズに対応するエージェント
- などなどそのほか多くの発展あり
マルチエージェント学習
エージェントの数を増やす
- マルチエージェント強化学習 (MARL)で扱われるエージェントの数は、数個程度の規模感であることが多い
- 自然界で観測される集団的知性は、もっとずっと大きなスケールである
- 何千とか、何百万とか
- エージェント数を増やすことで得られるものがあろう
- ハードウェアの進歩もあり、可能になってきている
MAgent: 数百万に及ぶ多数のニューラルネットエージェントのシミュレーション
- 社会的現象やヒエラルキー構成の研究、言語の創発現象の研究が可能に
Neural MMO: マルチエージェントの振る舞いを研究するためのプラットフォーム
- 大規模なエージェントのシミュレーションが可能
- 各エージェントは独自のニューラルネットパラメータを持てる
- メモリ容量的に難しいことだった
- エージェントを独自パラメータによって構成すると、それぞれが異なるニッチを埋めるなどの現象が観測されている
メタ学習
メタ学習とは
- システムが学習できるようにtrainingすることを目指す
- meta-learnerを作る
- 転移学習もその一形態と言える
- Schmidhuber氏などがメタ学習の重要性を強調してきた
強化学習エージェントとしてのニューロン
- ニューラルネットワークのニューロンを、強化学習エージェントとする
- ニューロンの観察対象: 現在の状態
- ニューロンの行動対象: ニューロンの結合の変更
- この構成の中では、メタ学習はニューロンとしての強化学習エージェントの問題と捉えることができる
- この手法は面白いが、ごく簡単な問題しか解けていないという限界もある
誤差逆伝播法を使わない学習
- ニューロンとシナプスがそれぞれ状態を持てるようにする
- ただのスカラー値ではなく、ニューラルネットの状態として保持
- セルオートマトンのように、ニューロンとシナプスが周囲の状態から自身を更新する
- 推論と学習が同時に行われる
- これらの振る舞いルールは、"ゲノムベクター"としてパラメータ化する
- このゲノムベクターの更新がメタ学習となる
- 進化的アルゴリズムや最適化手法を使う
- メタ学習されたルールは、より汎化性能を示した
RNNの適用
- さらにニューロンとシナプスをRNNで構成する研究もある
- 重みがRNNの隠れ状態として表現される
- RNNに誤差逆伝播法をエミュレートさせることができる
- 推論と学習が同時に行いながら、誤差逆伝播法を行えるとのこと
おわりに
以上、論文"Collective intelligence for deep learning: A survey of recent developments"の要約メモでした。
以下は私の個人的なメモです。
- 次に読みたい引用論文は何か
- 所感
- 深層学習のことを知れば知るほど、思ったより構成と設計がはっきりしてるんだなと感じていた。 自然界ならではの、複雑系による神秘性のようなものが現行の深層学習には無いと感じていたので本論文を読んでみた。 深層学習の柔軟性に関する課題感は、最近のLLMの汎化性能の印象からあまりピンと来なかった。 推論と学習が明確に分かれているのはずっと違和感を感じていたので、forwardで学習も行うという事例は面白かった。
[関連記事]
参考
https://journals.sagepub.com/doi/full/10.1177/26339137221114874
Collective Intelligence for Deep Learning: A Survey of Recent Developments | 大トロ
