Terraform stateファイルを格納するバックエンドの情報を動的に設定する方法の備忘録です。 はじめに Terraform backendの設定を動的に行う方法 おわりに 参考 はじめに Terraformのstateファイルを管理するためのバックエンド(S3/DynamoDBなど)の設定を、Te…

Terraformのstateを格納するbackend(S3/DynamoDB)を構築する、CloudFormationテンプレートの備忘録です。 はじめに Terraform backendを構築するCloudFormationテンプレート おわりに 参考 はじめに Terraformのstateを格納するbackend自身をどのように構築…

Pythonでparquetファイルのダミーデータを生成する方法の備忘録です。 はじめに Parquetファイルのダミーデータを生成する 補足：S3に配置する おわりに 参考 はじめに ちょっとした検証のために、ダミーデータのparquetファイルを用意する機会がありました…

AWS CLIのs3 cpコマンドにて、データの出力/入力先に標準入出力を指定する方法の備忘録です。 はじめに 環境 cpコマンドで標準入出力を活用する 標準入出力の指定方法 具体例 おわりに 参考 はじめに こんにちは、@bioerrorlogです。 AWS CLIのs3 cpコマンド…

S3 ListBucketsの実行に必要なIAM PolicyのAction権限について整理します。 はじめに 検証方法 S3 ListBucketsの実行に必要なIAM権限 結論 検証 おわりに 参考 はじめに S3のAPIを利用する際のIAM Policy設定にはしばしば悩まされます。 S3から提供されてい…

S3バケットポリシーとIAMポリシーの関係を、同一アカウント・クロスアカウントそれぞれにおいて整理します。 はじめに S3バケットポリシーとIAMポリシーの関係 結論 検証準備 同一アカウント内アクセス クロスアカウントアクセス おわりに 参考 はじめに こ…

S3バケットの既存の全オブジェクトに--acl bucket-owner-full-controlを一括付与するやり方の備忘録です。 はじめに 既存オブジェクトにbucket-owner-full-controllを一括付与する 追記バージョンコマンドの解説 旧バージョンコマンドの解説 おわりに 参考 …

AWS CLIのs3 cpとs3 syncの違いをまとめます。 はじめに cpとsyncの違い Descriptionを比較する コマンドオプションを比較する コマンドの挙動を比較する おわりに 参考 はじめに こんにちは、@bioerrorlogです。 あるS3バケットのオブジェクトを別のS3バケ…

S3への特定オブジェクトのアップロードをトリガーに、CloudWatch Eventsを起動するやり方の備忘録を残します。 はじめに CloudWatch Eventsのイベントソースを調べる S3トリガーで起動するCloudWatch Eventsを作成する CloudTrail証跡を作成する CloudWatch …

API Gateway + Lambda + DynamoDB + Cognito + S3 を用いて、AWSでの基本的なサーバレスアプリケーションを構築します。 はじめに 概要 アーキテクチャ アプリケーションの構築 静的Webホスティング S3バケットを作成する コンテンツをアップロードする S3バ…

Proxy配下で動いているGitLabから、パイプライン (GitLab Runner) を用いてAWS上のS3にファイルをアップロードする方法のメモを残します。 はじめに Proxy配下のGitLab PipelinesからS3にファイルをアップロードする S3バケットの作成 IAMユーザーの作成 Git…

Elastic Beanstalk用に作成されていたS3バケットを削除するのに少し手間取ったので、備忘録を残します。 はじめに Elastic BeanstalkのS3バケットを削除する 原因: バケットポリシーで削除が拒否されている 解決策: バケットポリシーを削除する おわりに 関…