深層学習と集団的知性の関係についての論文"Collective intelligence for deep learning: A survey of recent developments" の論文要約メモです。 はじめに Collective intelligence for deep learning: A survey of recent developments 概要 深層学習の歴…

GPT-2の論文"Language Models are Unsupervised Multitask Learners" の論文要約メモです。 はじめに Language Models are Unsupervised Multitask Learners 概要 手法 学習データセットWebTextの作成 BPE: Byte Pair Encoding モデルアーキテクチャ 結果 言…

Organoid Intelligence (OI)の動向を記載したレビュー論文"Organoid intelligence (OI): the new frontier in biocomputing and intelligence-in-a-dish" の論文要約メモです。 はじめに Organoid intelligence (OI): the new frontier in biocomputing and …

最初のGPT論文"Improving Language Understanding by Generative Pre-Training" の要約メモです。 はじめに Improving Language Understanding by Generative Pre-Training 概要 手法 結果 Natural Language Inferenceタスク Question answering / commonsen…

Transformerの原典である"Attention Is All You Need" の論文要約メモです。 はじめに Attention Is All You Need 概要 手法 モデルアーキテクチャ 学習方法 結果 翻訳タスク Transformerモデルバリエーション 英語構文解析 おわりに/所感 参考 はじめに か…

"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits" の論文要約メモです。 はじめに The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits 概要 手法 結果 おわりに/所感 参考 はじめに 今回まとめる論文はこちら: arxiv.…

Sakana.aiの進化的モデルマージを記述した論文"Evolutionary Optimization of Model Merging Recipes" の論文要約メモです。 はじめに Evolutionary Optimization of Model Merging Recipes 概要 手法 結果 LLMタスク VLMタスク おわりに/所感 参考 はじめに…

論文読みの手法を、Andrew Ngの講義動画から学びます。 はじめに Andrew Ngに学ぶ論文の読み方 論文を読む 理解を確かめる おわりに 参考 はじめに 最近AI関連を調べている中で、論文に目を通す機会も増えてきました。 そんな中、かのAndrew Ng先生がStanfor…

自由エネルギー原理のActive Inference (能動的推論)と、LLM (大規模言語モデル)の違いと類似点を、論文 "Predictive Minds: LLMs As Atypical Active Inference Agents" から整理します。 はじめに 一言でまとめると 論文メモ: Predictive Minds: LLMs As A…

ディスク読み書きが不要であることが直接の理由ではないらしい、と目にしたので備忘録をまとめます。 はじめに インメモリDBが速い理由 おわりに 参考 はじめに イノシシ本こと"データ指向アプリケーションデザイン"を読んでいて、インメモリDBが速い理由は…