BioErrorLog Tech Blog

試行錯誤の記録

PyTorch関数名の末尾アンダーバー`_`の意味

in-place処理であることを意味します。 はじめに PyTorch関数名の末尾アンダーバー_ 意味 具体例 おわりに 参考 はじめに PyTorchを触っていると、しばしばアンダーバー_を接尾語とする関数を見かけます。 kaiming_normal_ add_ etc... 初見で意味を知らなか…

深層学習と集団的知性 | 論文: Collective intelligence for deep learning: A survey of recent developments

深層学習と集団的知性の関係についての論文"Collective intelligence for deep learning: A survey of recent developments" の論文要約メモです。 はじめに Collective intelligence for deep learning: A survey of recent developments 概要 深層学習の歴…

"周辺確率"という名前の由来

周辺確率(marginal probability)という名前の由来はどこから来ているのか? はじめに "周辺確率"という名前の由来 おわりに 参考 はじめに 周辺確率という名前の由来は? 周辺確率の"周辺"ってどういう意味? 知らなかったので備忘録です。 "周辺確率"という…

GPT-2を理解する | 論文メモ: Language Models are Unsupervised Multitask Learners

GPT-2の論文"Language Models are Unsupervised Multitask Learners" の論文要約メモです。 はじめに Language Models are Unsupervised Multitask Learners 概要 手法 学習データセットWebTextの作成 BPE: Byte Pair Encoding モデルアーキテクチャ 結果 言…

Organoid Intelligenceを理解する | 論文メモ: Organoid intelligence (OI): the new frontier in biocomputing and intelligence-in-a-dish

Organoid Intelligence (OI)の動向を記載したレビュー論文"Organoid intelligence (OI): the new frontier in biocomputing and intelligence-in-a-dish" の論文要約メモです。 はじめに Organoid intelligence (OI): the new frontier in biocomputing and …

レオナルド・ダ・ヴィンチ手稿はどこで読めるのか

レオナルド・ダ・ヴィンチの手稿をオンラインで閲覧できる場所を一覧でまとめます。 はじめに レオナルド・ダ・ヴィンチ手稿はどこで読めるのか アトランティコ手稿 トリヴルツィオ手稿 鳥の飛翔に関する手稿 パリ手稿 アッシュバーナム手稿 ウィンザー手稿 …

初代GPTを理解する | 論文メモ: Improving Language Understanding by Generative Pre-Training

最初のGPT論文"Improving Language Understanding by Generative Pre-Training" の要約メモです。 はじめに Improving Language Understanding by Generative Pre-Training 概要 手法 結果 Natural Language Inferenceタスク Question answering / commonsen…

FlexispotでRST(ASR, A5T)エラーの対処法

Flexispot昇降デスクで"RST"みたいな表示が出て動かなくなったときの対処法メモです。 はじめに FlexispotでRST(ASR, A5R)エラーの対処法 エラーの意味 対処法 おわりに 参考 はじめに Flexispot昇降デスクを使っています。 あるとき、↓のような表示が出て動…

Transformerの原典を読む | 論文メモ: Attention Is All You Need

Transformerの原典である"Attention Is All You Need" の論文要約メモです。 はじめに Attention Is All You Need 概要 手法 モデルアーキテクチャ 学習方法 結果 翻訳タスク Transformerモデルバリエーション 英語構文解析 おわりに/所感 参考 はじめに か…

1-bit LLMを理解する | 論文メモ: The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits" の論文要約メモです。 はじめに The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits 概要 手法 結果 おわりに/所感 参考 はじめに 今回まとめる論文はこちら: arxiv.…

Sakana.aiの進化的モデルマージを理解する | 論文メモ: Evolutionary Optimization of Model Merging Recipes

Sakana.aiの進化的モデルマージを記述した論文"Evolutionary Optimization of Model Merging Recipes" の論文要約メモです。 はじめに Evolutionary Optimization of Model Merging Recipes 概要 手法 結果 LLMタスク VLMタスク おわりに/所感 参考 はじめに…

Andrew Ngに学ぶ論文の読み方

論文読みの手法を、Andrew Ngの講義動画から学びます。 はじめに Andrew Ngに学ぶ論文の読み方 論文を読む 理解を確かめる おわりに 参考 はじめに 最近AI関連を調べている中で、論文に目を通す機会も増えてきました。 そんな中、かのAndrew Ng先生がStanfor…

ゼロから作るGPT講義シリーズのすすめ | Andrej Karpathy

Andrej KarpathyのNeural Networks: Zero to Hero動画シリーズがとても良かったので紹介します。 はじめに 前提 Neural Networks: Zero to Hero 1. ニューラルネットワークと誤差逆伝播法への入門: microgradの構築 2. 言語モデリングへの入門: makemoreの構…

torch.tensorとtorch.Tensorの違い | PyTorch

torch.tensor()とtorch.Tensor()の違いについての備忘録です。 はじめに torch.tensorとtorch.Tensorの違い 一言で 詳しく 補足: 空のtensorを作るには おわりに 参考 はじめに PyTorchでtensorを作るときはtorch.tensor()メソッドが使われることが多いです…

Ubuntuの鶴の壁紙の詳細を調べる

Ubuntuに入っている綺麗な鶴の壁紙の詳細を追います。 はじめに Ubuntuの鶴の壁紙の詳細を調べる 画像ファイルを調べる この絵が作られた場所 この絵のタイトル 元データで遊ぶ おわりに 参考 はじめに Ubuntuの鶴の壁紙 このUbuntuの鶴の壁紙、綺麗で面白い…

ファイル名をコマンドで一括変更する | Linux

renameコマンドでできます。 はじめに renameコマンド 基本的な使い方 ファイル名を一括変更する おわりに 参考 はじめに aaa-1.txt aaa-2.txt aaa-3.txt このようなファイルがあったときに、 bbb-1.txt bbb-2.txt bbb-3.txt のようなファイル名に、CLIコマ…

LLMOps: LLMアプリケーションDevOpsのポイントを整理する

LLMOpsとは何か? 概念の勘所をまとめます。 はじめに 補足: LLMOpsの指す範囲について LLMOps モデルの選定 プロンプト管理 テスト/品質評価 デプロイ モニタリング 継続的改善とfine-tuning 結論: LLMアプリケーションのテスト駆動開発 おわりに 参考 はじ…

"Tarpit Idea"とは何か

スタートアップ界隈でよく聞く"Tarpit Idea"とは何か、備忘録です。 はじめに "Tarpit Idea"とは何か 直訳すると? スタートアップ界隈での意味合い おわりに 参考 はじめに スタートアップ界隈、特にY Combinator関連でよく耳にする"Tarpit Idea"という言葉…

GPT-4 VisionとRaspberry Piを組み合わせる | GPTをロボット頭脳にする その2

Raspberry Pi上で、カメラ/サーボモーターとGPT-4 Visionを組み合わせて簡単なロボット実験を行います。 前回はこちら: www.bioerrorlog.work はじめに GPT-4 VisionとRaspberry Piを組み合わせる コンセプト 構成 ハードウェア ソフトウェア 動作結果 おわ…

LLMの回答を自動評価するOpenAIプラクティス

OpenAIのプロンプトエンジニアリングガイドに従って、LLMの回答を自動評価するプラクティスを整理します。 はじめに LLM回答の自動評価ベストプラクティス 回答評価の具体例 例1. ある既知の事実が回答に含まれているか評価する 例2. 理想回答との矛盾や重な…

LangCheckでLLMの回答を自動評価する

Citadel AIのLLM回答評価ツール"LangCheck"を使ってみます。 はじめに LangCheckとは 基本的な使い方 評価メトリクスには何があるか 補足: 評価メトリクス判定に使われるモデル LangCheckで回答自動評価をやってみる 補足: semantic_similarity()でEmbedding…

"e/acc" とは何か

AI

最近 "e/acc" という単語を目にする。 なにこれ? はじめに e/acc とは何か 一言で もっと知りたい おわりに 参考 はじめに 海外、特にシリコンバレー界隈のテック業界人関係でよく目にする"e/acc" という単語。 何のことなのか全く知らなかったので備忘メモ…

OpenAI APIエラー: The model `gpt-4-vision-preview` does not exist or you do not have access to it.

OpenAI APIでGPT-4Vを使うにあたって、下記のエラーが出た時の対処法の備忘録です。 openai.NotFoundError: Error code: 404 - {'error': {'message': 'The model `gpt-4-vision-preview` does not exist or you do not have access to it. Learn more: http…

LLMと脳理論: Active Inferenceの違いと類似点

自由エネルギー原理のActive Inference (能動的推論)と、LLM (大規模言語モデル)の違いと類似点を、論文 "Predictive Minds: LLMs As Atypical Active Inference Agents" から整理します。 はじめに 一言でまとめると 論文メモ: Predictive Minds: LLMs As A…

LLMアプリケーションアーキテクチャ入門

LLMアプリケーションにおけるアーキテクチャ構成の考え方を学びます。 はじめに LLMアプリケーションアーキテクチャ入門 LLMアプリケーション構築の5ステップ 1. 解決すべき1つの課題を明確にする 2. LLMモデルを選定する 3. LLMモデルをカスタマイズする 4.…

OpenAIのサムアルトマンCEO解任の件をまとめる

サムアルトマンCEOが取締役会との喧嘩別れで解任されてしまった。 なんということだ。 はじめに OpenAIのサムアルトマンCEOが解任された件 OpenAIからの発表 サムアルトマン解任の理由 サムアルトマン本人の反応 追記: グレッグ・ブロックマンの反応 追記: …

OpenAI DevDayのアップデートまとめ | 要約版

2023年11月6日に行われた、OpenAI DevDayアップデートを要約します。 はじめに OpenAI DevDayアップデートまとめ GPT-4 Turboの発表 GPT-3.5 Turboのアップデート Assistants APIの発表 マルチモーダルAPI GPTsの発表 おわりに 参考 はじめに OpenAI DevDay…

VSCodeのDraw.ioのダークテーマを解除する

VSCode上で利用するDraw.ioのダークテーマを解除する方法の備忘録です。 Draw.ioのダークテーマは使いにくい ダークテーマの解除方法 おわりに Draw.ioのダークテーマは使いにくい VSCode拡張の"Draw.io Integration"は、VSCode上でDraw.ioを扱える便利な機…

エラー対処: オブジェクトの中の少なくとも1個がパスでないため、ブーリアン演算できません | Inkscape

オブジェクトの中の少なくとも1個がパスでないため、ブーリアン演算できません というエラーが出て、Inkscapeのパスオブジェクト操作ができないときの対処法をメモします。 はじめに エラー対処法 おわりに 参考 はじめに この重なり合った二つの歯車状のパ…

サブドメインで新規ブログを開設する | はてなブログ

はてなブログで、独自ドメインのサブドメインを使って新規ブログ開設する方法の備忘録です。 はじめに 想定する前提条件 補足: 追加料金はかかるのか? サブドメインで新規ブログを開設する 1. サブドメインの作成 (お名前.com) 2. 新規ブログの開設 3. 新規…