BioErrorLog Tech Blog

試行錯誤の記録

データ分析/データ基盤

AWSデータ分析基盤の良質な学習資料をまとめる

データ基盤領域について、AWS公式から出ている良質な学習資料/参考資料をまとめます。 はじめに AWSデータ分析基盤の学習資料まとめ AWS Well-Architected Framework - Data Analytics Lens AWS Whitepapers - Analytics & Big Data AWS Reference Architect…

Athena経由でpandas DataFrameを作成する

Amazon Athena経由でpandas DataFrameを作成するやり方をまとめます。 はじめに awswrangler (AWS SDK for pandas)とは Athena経由でpandas DataFrameを作成する おわりに 参考 はじめに こんにちは、@bioerrorlogです。 Amazon Athenaクエリ経由でpandas Da…

実験 | 画像をtxtファイルから3Dグラフで可視化したい | Python

txtファイルとして出力した画像ファイルを、Pythonを用いて3Dプロットで可視化してみます。 はじめに 作業環境 画像をtxtファイルから3Dグラフで可視化する txtファイルの読み込み | pd.read_csv() XYの用意 | np.arange() / np.meshgrid() 3Dグラフプロット…

はじめてのWebスクレイピング | ブログ投稿曜日を分析する

はじめてのWebスクレイピングに挑戦しました。今回は手始めに、自分のブログの曜日ごとの投稿数を分析します。 はじめに 作業環境 ブログ投稿曜日を分析する Wgetコマンドとは -r オプション | 再帰的にリンクをダウンロードする -w オプション | ダウンロー…