BioErrorLog Tech Blog

試行錯誤の記録

Python

SageMakerでlocal training jobが実行できない時の対処法 | Unable to locate credentials

Unable to locate credentials のエラーで、SageMaker instanceのlocal training jobが実行できないときの対処法をまとめます。 はじめに SageMakerでlocal training jobが実行できない時の対処法 事象 原因 対処法 おわりに 参考 はじめに SageMakerでは、S…

boto3とbotoの違い | AWS SDK for Pythonの歴史を調べる

boto3とbotoの違いや、そもそもの"boto"の由来など、AWS SDK for Pythonの歴史を調べてまとめます。 はじめに AWS SDK for Pythonの歴史 boto3とbotoの違い boto2はどこに行ったのか "boto"の由来 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 AW…

Raspberry Piで複数のサーボモーターを制御する

PWM/サーボ制御モジュールを使わずに、複数のサーボモーターを制御する方法の備忘録です。 はじめに Raspberry Piで複数のサーボモータを制御する OS環境の準備 回路を組む サーボモータを動かすスクリプトの用意 サーボモータを動かす おわりに 参考 はじめ…

Athena経由でpandas DataFrameを作成する

Amazon Athena経由でpandas DataFrameを作成するやり方をまとめます。 はじめに awswrangler (AWS SDK for pandas)とは Athena経由でpandas DataFrameを作成する おわりに 参考 はじめに こんにちは、@bioerrorlogです。 Amazon Athenaクエリ経由でpandas Da…

boto3でエラーハンドリングする方法をまとめる | AWS SDK for Python

boto3でエラーハンドリングする方法を整理します。 はじめに boto3でエラーハンドリングする client.exceptions botocore.exceptions コード例 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 boto3で発生するエラーをcatchしようとしたときに、少…

人工生命 "Lenia" を動かす | ALife

人工生命 "Lenia" を触って遊びます。 はじめに 作業環境 人工生命 "Lenia" を動かす Leniaとは Leniaを動かす いろんなLenia おわりに 参考 はじめに "Lenia" という美しい人工生命モデルがあります。 このデモ動画を見てみて下さい。 顕微鏡を覗いているよ…

boto3 clientのendpoint URLを確認する | AWS SDK for Python

作成済みboto3 clientのendpoint URLを確認する方法をまとめます。 はじめに 環境 boto3 clientのendpoint URLを確認する client.meta.endpoint_url client._endpoint.host おわりに 参考 はじめに こんにちは、@bioerrorlogです。 boto3クライアントの宣言…

Pythonでユーザー定義クラスのオブジェクトを等価比較する

Pythonで独自に定義したユーザー定義クラスのオブジェクト同士を等価比較する方法を整理します。 はじめに 動作環境 Pythonでユーザー定義クラスのオブジェクトを等価比較する __eq__メソッドでインスタンス変数を比較する __eq__メソッドで__dict__を比較す…

Pythonでメモリ/ディスク容量を確認する

Pythonを用いて、実行環境のメモリおよびディスク容量を確認する方法をメモします。 はじめに 環境 ディスク/メモリ容量を取得する ディスク容量 メモリ容量 おわりに 参考 はじめに おはよう。@bioerrorlogです。 あるとき、Pythonを用いて実行環境のメモリ…

DeletionPolicyの変更が反映されないときの対処法 | CDK/CloudFormation

CDKやCloudFormationにて、変更したDeletionPolicy (RemovalPolicy)がStackに反映されない時の対処法を残します。 はじめに DeletionPolicyの変更が反映されないときの対処法 起こったこと 原因 対処法 おわりに 参考 はじめに おはよう。@bioerrorlogです。…

AWS CDKでTagを付与する

AWS CDKでTagを付与する方法の備忘録です。 はじめに 環境 CDKでTagを付与する 具体例 Stack単位でTagを付与する Construct単位でTagを付与する 補足: 非推奨のTag付与方法 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 CDKでリソースにTagを付与…

Lambdaのboto3バージョンを確認する | AWS SDK for Python

Lambdaのboto3/botocoreバージョンを確認する方法の備忘録です。 はじめに Lambdaのboto3バージョンを確認する方法 ドキュメントから確認する Lambda上から確認する おわりに 参考 はじめに こんにちは、@bioerrorlogです。 Lambdaからboto3を用いてAWS API…

“Failed to execute script XX” エラー対処: PyinstallerでPygameをexe化するときの注意点

PyinstallerでPygameスクリプトをexe化する際に発生した、以下のエラーに対処するためのチェックポイントを書き残します。 Failed to execute script XX はじめに 環境 “Failed to execute script XX” エラーの対処法 Pygameスクリプト内のimportパッケージ…

Pygameのexeファイルを作成する | PyInstaller

PygameスクリプトをPyinstallerを用いてexe化する方法の備忘録です。 はじめに 環境 PyInstaller でPygameのexeファイルを作成する 1. Pyinstallerのインストール 2. exeファイルの作成 3. ゲームアセット依存関係の解決 おわりに 参考 はじめに おはよう。@…

S3 ListBucketsの実行に必要なIAM権限 | AWS

S3 ListBucketsの実行に必要なIAM PolicyのAction権限について整理します。 はじめに 検証方法 S3 ListBucketsの実行に必要なIAM権限 結論 検証 おわりに 参考 はじめに おはよう。@bioerrorlogです。 S3のAPIを利用する際のIAM Policy設定にはしばしば悩ま…

エラー対処: Object of type datetime is not JSON serializable | Python

Pythonのjsonモジュールを利用してjson変換する際に発生した、以下のエラーの対処法です。 "Object of type datetime is not JSON serializable" はじめに 背景 対処法 defaultパラメータ 対処法1:string変換 対処法2:カスタム変換 おわりに 関連記事 参…

LambdaでAWS CLIを実行する | AWS Lambda Layer

Lambda Layerを利用して、Lambda上でAWS CLIを実行する方法をメモします。 はじめに LambdaでAWS CLIを実行する Python仮想環境の作成 仮想環境にAWS CLIをインストール Python実行パスの変更 AWS CLI関連パッケージをzipファイルにまとめる Lambda Layerの…

Boto3でAssumeRoleする | AWS SDK for Python

Boto3でAssumeRoleするやり方をまとめます。 はじめに Boto3でAssumeRoleする AssumeRole関数の実装 使用例 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 Boto3を利用したPythonスクリプトで、AssumeRoleしたい状況はよくあります。 その度にAssu…

エラー対処: RuntimeError: Click will abort further execution because Python 3 was configured to use ASCII as encoding for the environment.

以下のエラーの対処法を記します。 RuntimeError: Click will abort further execution because Python 3 was configured to use ASCII as encoding for the environment. Consult https://click.palletsprojects.com/python3/ for mitigation steps. はじめ…

AWS ChaliceアプリケーションをCDKでデプロイする | cdk-chalice

ChaliceアプリケーションをCDKでデプロイする方法を記します。 はじめに AWS Chaliceとは 作業環境 実行手順 前準備: Python3.7のインストール Chaliceプロジェクト作成 Chalice appコード CDKプロジェクトの作成 CDKコード CDKデプロイ リソースの削除 おわ…

AWS CDKでStackをネストにする | NestedStack

AWS CDKでStackをネスト (入れ子) にしてデプロイする方法を記します。 はじめに 作業環境 CDKでStackをネストにする 問題: Stackが入れ子にできない 解決策: NestedStackを使う おわりに 参考 はじめに おはよう。@bioerrorlogです。 AWS CDKでStackをネス…

初心者がPythonでゼロからゲームを作ってみた | デザインから実装まで

初心者ながら、Pythonでゲームを自作してみました。 ゲーム制作にあたって行った準備から、実装時にハマった注意点、出来上がったゲームのデザインまでを記録します。 はじめに 何かを作りたい なぜPythonを選んだのか 作業環境 ゲーム概要 Pythonでゲームを…

実験 | 画像をtxtファイルから3Dグラフで可視化したい | Python

txtファイルとして出力した画像ファイルを、Pythonを用いて3Dプロットで可視化してみます。 はじめに 作業環境 画像をtxtファイルから3Dグラフで可視化する txtファイルの読み込み | pd.read_csv() XYの用意 | np.arange() / np.meshgrid() 3Dグラフプロット…

Ubuntuでpip/pip3がインストールできないときの対処法 | Python

Ubuntuでは、Pythonのpip/pip3がプリインストールされていませんでした。 これらのインストールに予想外にもつまずいたので、記録を残します。 はじめに 作業環境 Ubuntuでpip/pip3をインストールする pipとpip3は違う apt installが機能しない: pip× / pip3…

はじめてのWebスクレイピング | ブログ投稿曜日を分析する

はじめてのWebスクレイピングに挑戦しました。今回は手始めに、自分のブログの曜日ごとの投稿数を分析します。 はじめに 作業環境 ブログ投稿曜日を分析する Wgetコマンドとは -r オプション | 再帰的にリンクをダウンロードする -w オプション | ダウンロー…

Pythonで鍵生成 - Keygen | リバースエンジニアリング入門#7

鍵生成プログラムKeygenをPythonで作成します。 まずはradare2を用いてパスワード認証アルゴリズムを解析し、それを開くことができるKeygenを作成しました。 はじめに 作業環境 Pythonで鍵生成 radare2でアルゴリズムを解析する forループの特定 forループの…

はじめてのPython | Windows環境構築 - Atom

WindowsでPythonプログラミングを始める環境構築をしたので、ノートを残します。 Pythonを公式ページからダウンロードし、 テキストエディタのAtomをインストールしました。 はじめに Python - Windows環境構築 Pythonのインストール Atomのインストール Ato…