BioErrorLog Tech Blog

試行錯誤の記録

論文

論文メモ: Attention Is All You Need | Transformerの原典を読む

Transformerの原典である"Attention Is All You Need" の論文要約メモです。 はじめに Attention Is All You Need 概要 手法 モデルアーキテクチャ 学習方法 結果 翻訳タスク Transformerモデルバリエーション 英語構文解析 おわりに/所感 参考 はじめに か…

論文メモ: The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits | 1-bit LLMを理解する

"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits" の論文要約メモです。 はじめに The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits 概要 手法 結果 おわりに/所感 参考 はじめに 今回まとめる論文はこちら: arxiv.…

論文メモ: Evolutionary Optimization of Model Merging Recipes | Sakana.aiの進化的モデルマージを理解する

Sakana.aiの進化的モデルマージを記述した論文"Evolutionary Optimization of Model Merging Recipes" の論文要約メモです。 はじめに Evolutionary Optimization of Model Merging Recipes 概要 手法 結果 LLMタスク VLMタスク おわりに/所感 参考 はじめに…

Andrew Ngに学ぶ論文の読み方

論文読みの手法を、Andrew Ngの講義動画から学びます。 はじめに Andrew Ngに学ぶ論文の読み方 論文を読む 理解を確かめる おわりに 参考 はじめに 最近AI関連を調べている中で、論文に目を通す機会も増えてきました。 そんな中、かのAndrew Ng先生がStanfor…

LLMと脳理論: Active Inferenceの違いと類似点

自由エネルギー原理のActive Inference (能動的推論)と、LLM (大規模言語モデル)の違いと類似点を、論文 "Predictive Minds: LLMs As Atypical Active Inference Agents" から整理します。 はじめに 一言でまとめると 論文メモ: Predictive Minds: LLMs As A…

インメモリDBが速い理由はdisk読み書き不要だからではないらしい

ディスク読み書きが不要であることが直接の理由ではないらしい、と目にしたので備忘録をまとめます。 はじめに インメモリDBが速い理由 おわりに 参考 はじめに イノシシ本こと"データ指向アプリケーションデザイン"を読んでいて、インメモリDBが速い理由は…