AWS

terraformでファイルのハッシュを確認するメモ(ついでにnull_resourceについて)

概要 terraformのLambda layer等を作成するときに、ファイル更新を検知したい 詳細 archive_file よくある手法が、Data sourceであるarchive_fileを利用する方法 registry.terraform.io data "archive_file" "main" { type = "zip" source_dir = "${path.mod…

CloudWatch Logsのロググループ内をCLI検索するメモ

AWS

やりたいこと AWS CloudWatch Logsでグループ内を横断的に検索したい (そもそもこれってコンソール上からできないのか?) AWS CLI 30分前からのログを検索 $ aws logs filter-log-events --log-group-name 'log-group' --filter-pattern '"hogehoge"' --sta…

AWS Timestreamの基本と、Go言語によるサンプル

Timestreamドキュメント Timestream使用方法(プログラムからの使用) 主な使用用途 用語 データの書き込み サポートしているデータタイプ ストレージ 暗号化 データの読み込み(Query) データModel Flat Model Time series model Go言語における制御 DBの…

AWS GlueでS3→RDSへのETLを実施するメモ

AWS

目的 AWS Glueを使ってS3からRDSへのETLを実施したい 結構ハマったので解決方法のメモ AWS Glueとは マネージドな(サーバレスな)AWSのETLサービス データソースからデータターゲットにいい感じにデータを入れてくれる(かなり自動でやってくれる) スクリ…

CircleCIのyamlのメモと、TerraformをCircleCIでapplyするメモ

目的 GitHubにpushしたソースをCircleCIを用い、Terraformをapplyしたい Terraformをapplyする際にはユーザの確認を行いたい 参考 まさにこのページがそれでした(公式のサンプル) learn.hashicorp.com 準備 特定のGitHubリポジトリを作る CircleCIに作成し…

AWS Timestreamを試す

AWS

目的 AWS Timestreamを触ってみる(本当にさわりだけでも) お断り 間違っている部分あったらごめんなさい。 AWS Timesteramとは AWSマネージドな時系列DBのサービス 一日一兆をこえるデータ投入をさばけるとか マネージドなだけあってAWSのいろんなサービス…

helmを使ったK8s用yamlのテンプレートの利用

helmを導入してK8sのyamlをテンプレート記載したい helmとは なぜhelmがほしいのか helmとは Kubernetes(K8s)に関する技術で、K8s用のyamlを記載しやすいようにするモノ、という理解 そもそもパッケージ管理ソフトなので、wordpressをK8sで入れたい!とかい…

terraformで特定のmoduleだけapplyする方法メモ

結論 $ terraform apply -target=module.s3 module追加しているときにはモジュールのインストールしないといけない(エラーメッセージでる) $ terraform init おまけ : S3の静的ホスティングのterraform main.tf module "s3" { source = "./modules/s3" app…

AWS EKSでLoadBalancerを使い、https通信する方法メモ

目的 EKSで公開したサービスをhttpsにしたい! 目次 目的 目次 httpsを行う核心部分 前提 参考 EKSへのログイン方法 EKSでnginxをデプロイします 確認 serviceをたてる 名前をつける 確認する httpsにする 解説 service.beta.kubernetes.io/aws-load-balance…

AWS documentDBにLambdaから書き込むメモ(terraform)

目的 documentDBにLambdaから書き込みたい 構成はterraformにて行う LambdaのVPC接続について VPC接続 LambdaはVPC接続して動かすという方法がある模様 LambdaがVPC(自分で作ったVPC)にアクセスして動作するイメージ 利点 VPC内のエンドポイント等にLamda…

AWS documentDBメモ

AWS

Amazon documentDB メモの内容 AWS documentDBの作り方 AWS documentDBの接続について AWS documentDBのクラスタとインスタンスの取得 mongoのコマンドメモ AWSにdocumentDBをたてる awsコンソールからdocumentDBの画面から「作成」 AWS documentDBにアクセ…

EKSコマンドメモ

EKS関連 EKSへのログイン $ aws eks --region ap-northeast-1 update-kubeconfig --name eks-test K8メモ コンテキストのリストの表示 $ kubectl config get-contexts 現在のコンテキストの表示 $ kubectl config current-context Podをセレクターでフィルタ…

CodeCommitでDinDするときのメモ

サンプルbuildspec.yml version: 0.2 phases: install: commands: - nohup /usr/local/bin/dockerd --host=unix:///var/run/docker.sock --host=tcp://127.0.0.1:2375 --storage-driver=overlay2& - timeout 15 sh -c "until docker info; do echo .; sleep …

AWS EKSをCodePipelineから操作するメモ

内容 CodeBuildeでkubectl applyを実施したい エラーerror: You must be logged in to the server (Unauthorized) CodeBuildでkubectlしたいが、このエラーが出てしまう 参考ページ dev.classmethod.jp qiita.com メモ 基本的に上記クラスメソッドさんのブロ…

DockerにDocker in docker, aws-cli, kubectlをインストール

目的 Docker in docker実現したい AWS-cli入れたい kubectl入れたい 以上を1コンテナで。 結論 FROM docker:stable-dind WORKDIR /k8s # aws cliの実行が失敗するので、glibcのverupしてインストール # https://github.com/aws/aws-cli/issues/4685#issueco…