BioErrorLog Tech Blog

試行錯誤の記録

2024-05-02から1日間の記事一覧

GPT-2を理解する | 論文メモ: Language Models are Unsupervised Multitask Learners

GPT-2の論文"Language Models are Unsupervised Multitask Learners" の論文要約メモです。 はじめに Language Models are Unsupervised Multitask Learners 概要 手法 学習データセットWebTextの作成 BPE: Byte Pair Encoding モデルアーキテクチャ 結果 言…