BioErrorLog Tech Blog

試行錯誤の記録

データ分析/データ基盤

torch.tensorとtorch.Tensorの違い | PyTorch

torch.tensor()とtorch.Tensor()の違いについての備忘録です。 はじめに torch.tensorとtorch.Tensorの違い 一言で 詳しく 補足: 空のtensorを作るには おわりに 参考 はじめに PyTorchでtensorを作るときはtorch.tensor()メソッドが使われることが多いです…

インメモリDBが速い理由はdisk読み書き不要だからではないらしい

ディスク読み書きが不要であることが直接の理由ではないらしい、と目にしたので備忘録をまとめます。 はじめに インメモリDBが速い理由 おわりに 参考 はじめに イノシシ本こと"データ指向アプリケーションデザイン"を読んでいて、インメモリDBが速い理由は…

Parquetファイルのダミーデータを生成する | Python

Pythonでparquetファイルのダミーデータを生成する方法の備忘録です。 はじめに Parquetファイルのダミーデータを生成する 補足:S3に配置する おわりに 参考 はじめに ちょっとした検証のために、ダミーデータのparquetファイルを用意する機会がありました…

Raspberry PiでPyTorchがIllegal instructionエラーを起こす事象の対処法

Raspberry Pi 4でPyTorch2.0が下記エラーを出す事象の解決策をメモします。 Illegal instruction はじめに Raspberry PiでPyTorchがIllegal instruction 起きた事象 対処法 おわりに 参考 はじめに 最近、Raspberry PiとChatGPTを組み合わせて何か面白いこと…

SageMakerでlocal training jobが実行できない時の対処法 | Unable to locate credentials

Unable to locate credentials のエラーで、SageMaker instanceのlocal training jobが実行できないときの対処法をまとめます。 はじめに SageMakerでlocal training jobが実行できない時の対処法 事象 原因 対処法 おわりに 参考 はじめに SageMakerでは、S…

AWSデータ分析基盤の良質な学習資料をまとめる

データ基盤領域について、AWS公式から出ている良質な学習資料/参考資料をまとめます。 はじめに AWSデータ分析基盤の学習資料まとめ AWS Well-Architected Framework - Data Analytics Lens AWS Whitepapers - Analytics & Big Data AWS Reference Architect…

Athena経由でpandas DataFrameを作成する

Amazon Athena経由でpandas DataFrameを作成するやり方をまとめます。 はじめに awswrangler (AWS SDK for pandas)とは Athena経由でpandas DataFrameを作成する おわりに 参考 はじめに こんにちは、@bioerrorlogです。 Amazon Athenaクエリ経由でpandas Da…

実験 | 画像をtxtファイルから3Dグラフで可視化したい | Python

txtファイルとして出力した画像ファイルを、Pythonを用いて3Dプロットで可視化してみます。 はじめに 作業環境 画像をtxtファイルから3Dグラフで可視化する txtファイルの読み込み | pd.read_csv() XYの用意 | np.arange() / np.meshgrid() 3Dグラフプロット…

はじめてのWebスクレイピング | ブログ投稿曜日を分析する

はじめてのWebスクレイピングに挑戦しました。今回は手始めに、自分のブログの曜日ごとの投稿数を分析します。 はじめに 作業環境 ブログ投稿曜日を分析する Wgetコマンドとは -r オプション | 再帰的にリンクをダウンロードする -w オプション | ダウンロー…