2020-11-01から1ヶ月間の記事一覧

AWS GlueでS3→RDSへのETLを実施するメモ

AWS

目的 AWS Glueを使ってS3からRDSへのETLを実施したい 結構ハマったので解決方法のメモ AWS Glueとは マネージドな(サーバレスな)AWSのETLサービス データソースからデータターゲットにいい感じにデータを入れてくれる(かなり自動でやってくれる) スクリ…

CircleCIのyamlのメモと、TerraformをCircleCIでapplyするメモ

目的 GitHubにpushしたソースをCircleCIを用い、Terraformをapplyしたい Terraformをapplyする際にはユーザの確認を行いたい 参考 まさにこのページがそれでした(公式のサンプル) learn.hashicorp.com 準備 特定のGitHubリポジトリを作る CircleCIに作成し…

embulkのチュートリアル程度やってみたメモ

embulkとは Fluentdのコミッターの古橋さんが作成されているfluentdのバッチ版のようなソフトウェアらしいです github github.com 参考サイト qiita.com なぜembulk ETL処理を行いたいというニーズがあり、そのETLの手段としてembulkにたどり着きました スク…