Terraformのstateを格納するbackend(S3/DynamoDB)を構築する、CloudFormationテンプレートの備忘録です。 はじめに Terraform backendを構築するCloudFormationテンプレート おわりに 参考 はじめに Terraformのstateを格納するbackend自身をどのように構築…

Pythonでparquetファイルのダミーデータを生成する方法の備忘録です。 はじめに Parquetファイルのダミーデータを生成する 補足：S3に配置する おわりに 参考 はじめに ちょっとした検証のために、ダミーデータのparquetファイルを用意する機会がありました…

AWS CLIのs3 cpコマンドにて、データの出力/入力先に標準入出力を指定する方法の備忘録です。 はじめに 環境 cpコマンドで標準入出力を活用する 標準入出力の指定方法 具体例 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 AWS CLIのs3 cpコマンド…

S3 ListBucketsの実行に必要なIAM PolicyのAction権限について整理します。 はじめに 検証方法 S3 ListBucketsの実行に必要なIAM権限 結論 検証 おわりに 参考 はじめに おはよう。@bioerrorlogです。 S3のAPIを利用する際のIAM Policy設定にはしばしば悩ま…

S3バケットポリシーとIAMポリシーの関係を、同一アカウント・クロスアカウントそれぞれにおいて整理します。 はじめに S3バケットポリシーとIAMポリシーの関係 結論 検証準備 同一アカウント内アクセス クロスアカウントアクセス おわりに 参考 はじめに こ…

S3バケットの既存の全オブジェクトに--acl bucket-owner-full-controlを一括付与するやり方の備忘録です。 はじめに 既存オブジェクトにbucket-owner-full-controllを一括付与する 追記バージョンコマンドの解説 旧バージョンコマンドの解説 おわりに 関連記…

AWS CLIのs3 cpとs3 syncの違いをまとめます。 はじめに cpとsyncの違い Descriptionを比較する コマンドオプションを比較する コマンドの挙動を比較する おわりに 参考 はじめに こんにちは、@bioerrorlogです。 あるS3バケットのオブジェクトを別のS3バケ…

S3への特定オブジェクトのアップロードをトリガーに、CloudWatch Eventsを起動するやり方の備忘録を残します。 はじめに CloudWatch Eventsのイベントソースを調べる S3トリガーで起動するCloudWatch Eventsを作成する CloudTrail証跡を作成する CloudWatch …

API Gateway + Lambda + DynamoDB + Cognito + S3 を用いて、AWSでの基本的なサーバレスアプリケーションを構築します。 はじめに 概要 アーキテクチャ アプリケーションの構築 静的Webホスティング S3バケットを作成する コンテンツをアップロードする S3バ…

Proxy配下で動いているGitLabから、パイプライン (GitLab Runner) を用いてAWS上のS3にファイルをアップロードする方法のメモを残します。 はじめに Proxy配下のGitLab PipelinesからS3にファイルをアップロードする S3バケットの作成 IAMユーザーの作成 Git…

Elastic Beanstalk用に作成されていたS3バケットを削除するのに少し手間取ったので、備忘録を残します。 はじめに Elastic BeanstalkのS3バケットを削除する 原因: バケットポリシーで削除が拒否されている 解決策: バケットポリシーを削除する おわりに 関…