2020-01-01から1年間の記事一覧

Windowsのセットアップメモ

Windowsの初期セットアップのメモ install時のメモ 初期セットアップ時 初期セットアップ時にMicrosoftアカウントでログインするとそのユーザ名が勝手につけられる これは問題ないのだが、ディレクトリの名称が変な名前になってしまった 対応策として、イン…

AWS Timestreamの基本と、Go言語によるサンプル

Timestreamドキュメント Timestream使用方法(プログラムからの使用) 主な使用用途 用語 データの書き込み サポートしているデータタイプ ストレージ 暗号化 データの読み込み(Query) データModel Flat Model Time series model Go言語における制御 DBの…

AWS GlueでS3→RDSへのETLを実施するメモ

AWS

目的 AWS Glueを使ってS3からRDSへのETLを実施したい 結構ハマったので解決方法のメモ AWS Glueとは マネージドな(サーバレスな)AWSのETLサービス データソースからデータターゲットにいい感じにデータを入れてくれる(かなり自動でやってくれる) スクリ…

CircleCIのyamlのメモと、TerraformをCircleCIでapplyするメモ

目的 GitHubにpushしたソースをCircleCIを用い、Terraformをapplyしたい Terraformをapplyする際にはユーザの確認を行いたい 参考 まさにこのページがそれでした(公式のサンプル) learn.hashicorp.com 準備 特定のGitHubリポジトリを作る CircleCIに作成し…

embulkのチュートリアル程度やってみたメモ

embulkとは Fluentdのコミッターの古橋さんが作成されているfluentdのバッチ版のようなソフトウェアらしいです github github.com 参考サイト qiita.com なぜembulk ETL処理を行いたいというニーズがあり、そのETLの手段としてembulkにたどり着きました スク…

AWS Timestreamを試す

AWS

目的 AWS Timestreamを触ってみる(本当にさわりだけでも) お断り 間違っている部分あったらごめんなさい。 AWS Timesteramとは AWSマネージドな時系列DBのサービス 一日一兆をこえるデータ投入をさばけるとか マネージドなだけあってAWSのいろんなサービス…

helmを使ったK8s用yamlのテンプレートの利用

helmを導入してK8sのyamlをテンプレート記載したい helmとは なぜhelmがほしいのか helmとは Kubernetes(K8s)に関する技術で、K8s用のyamlを記載しやすいようにするモノ、という理解 そもそもパッケージ管理ソフトなので、wordpressをK8sで入れたい!とかい…

terraformで特定のmoduleだけapplyする方法メモ

結論 $ terraform apply -target=module.s3 module追加しているときにはモジュールのインストールしないといけない(エラーメッセージでる) $ terraform init おまけ : S3の静的ホスティングのterraform main.tf module "s3" { source = "./modules/s3" app…

AWS EKSでLoadBalancerを使い、https通信する方法メモ

目的 EKSで公開したサービスをhttpsにしたい! 目次 目的 目次 httpsを行う核心部分 前提 参考 EKSへのログイン方法 EKSでnginxをデプロイします 確認 serviceをたてる 名前をつける 確認する httpsにする 解説 service.beta.kubernetes.io/aws-load-balance…

mongoDBをGoで操作するときのメモ

MongoDBのライブラリ 以前はmgoというライブラリが主流だったようです 最初にググったときにmgoの記事が見つかったので、ちょっと混乱しました。 現状だとmongo-go-driverらしいです github.com Mongoの接続 import import ( "go.mongodb.org/mongo-driver/b…

AWS documentDBにLambdaから書き込むメモ(terraform)

目的 documentDBにLambdaから書き込みたい 構成はterraformにて行う LambdaのVPC接続について VPC接続 LambdaはVPC接続して動かすという方法がある模様 LambdaがVPC(自分で作ったVPC)にアクセスして動作するイメージ 利点 VPC内のエンドポイント等にLamda…

AWS documentDBメモ

AWS

Amazon documentDB メモの内容 AWS documentDBの作り方 AWS documentDBの接続について AWS documentDBのクラスタとインスタンスの取得 mongoのコマンドメモ AWSにdocumentDBをたてる awsコンソールからdocumentDBの画面から「作成」 AWS documentDBにアクセ…

mongodbをDockerで起動するメモ

Dockerにてmongodbを起動したい $ docker run --rm -it -d mongo このコマンドでmongodbがバックグラウンドで起動します バージョン指定したい場合 $ docker run --rm -it -d mongo:version こんな感じでバージョン指定 mongodbのコンテナ内に入る まずはdoc…

EKSコマンドメモ

EKS関連 EKSへのログイン $ aws eks --region ap-northeast-1 update-kubeconfig --name eks-test K8メモ コンテキストのリストの表示 $ kubectl config get-contexts 現在のコンテキストの表示 $ kubectl config current-context Podをセレクターでフィルタ…

terraformでfileを相対パス記載する

terraform version 0.12以上 記載方法 module内にてfileを相対パスで指定したい場合、${path.module}が使える 例えば"${path.module}/cert/sample.pem"でファイルのパスを作ってくれる(相対パスを作成してくれる) 具体例 certのpemを指定する場合(ファイ…

CodeCommitでDinDするときのメモ

サンプルbuildspec.yml version: 0.2 phases: install: commands: - nohup /usr/local/bin/dockerd --host=unix:///var/run/docker.sock --host=tcp://127.0.0.1:2375 --storage-driver=overlay2& - timeout 15 sh -c "until docker info; do echo .; sleep …

AWS EKSをCodePipelineから操作するメモ

内容 CodeBuildeでkubectl applyを実施したい エラーerror: You must be logged in to the server (Unauthorized) CodeBuildでkubectlしたいが、このエラーが出てしまう 参考ページ dev.classmethod.jp qiita.com メモ 基本的に上記クラスメソッドさんのブロ…

DockerにDocker in docker, aws-cli, kubectlをインストール

目的 Docker in docker実現したい AWS-cli入れたい kubectl入れたい 以上を1コンテナで。 結論 FROM docker:stable-dind WORKDIR /k8s # aws cliの実行が失敗するので、glibcのverupしてインストール # https://github.com/aws/aws-cli/issues/4685#issueco…

メモ[10 things you (probably) don't know about Go]

Go

メモ 10 things you (probably) don't know about Go このメモがとても参考になったので忘れないようにメモ 1. Anonymous structs var config struct { APIKey string OAuthConfig oauth.Config } config.APIKey = "BADC0C0A" 7. Method expressions talks.g…

Goのhttpリクエストのmockについて

Go

Goでhttpリクエスト 参考 golang.org いくつか方法はあるようだが、 client := &http.Client{ CheckRedirect: redirectPolicyFunc, } resp, err := client.Get("http://example.com") // ... req, err := http.NewRequest("GET", "http://example.com", nil)…

poetryメモ

poertry pythonでのパッケージ管理の定番のようです(npmのような) 参考 org-technology.com poetry init プロジェクトの初期化を行う poetry init パッケージ追加 poetry add numpy これを実施することにより、pyproject.tomlが更新されます。 numpy = "^1…

terraformにて、module間で値(variable,outputs)を渡す

0.12のフォーマット 値の受け渡し terraformにて、variableを使って変数を表現するが、 moduleをまたいでの受け渡しをどうするか フォルダ構成の例 ├── main.tf ├── modules │ ├── ec2 │ │ ├── ec2.tf │ │ └── variables.tf │ └── network │ ├── network.tf …

Terraformで、.envのように変数を注入する

terraformにて、任意の変数を外部から注入する terraform.tfvarsという仕組みを使う assume_role = "arn:aws:iam::012345678901:role/AssumeRoleForTerraform" pub_key_value = "ssh key value" といったように、任意の値を書いておく そして、実行時にこの…

IAMのAssumeRoleについて

AssumeRole 権限を移譲するための仕組みのようです。 参考 christina04.hatenablog.com qiita.com 概要 今回は、アカウントAのAWSリソースを、アカウントBが使うというケースをAssumeRoleでやります 例として、以下のアカウントIDだとします。 - アカウントA…

古いdockerイメージを削除する

macの容量が足りなくなった とりあえずdockerのイメージを消そう。 古いのはとりあえずいらんだろう・・・ コマンド docker image ls | grep -e 'months ago' -e 'years ago' | awk '{print $3}' | xargs docker image rm -f なんかちょっとエラーが出て、い…

Go言語でのunix domain socket

Goでunix domain socketの通信を行いたい ネットで色々と探しましたが、 なかなか情報が見つかりにくかったので、 個人的なメモを書いておきます サンプル 2秒毎にクライアントからサーバにhiってメッセージを送るだけのものです server package main impor…

OpenAPIについての参考記事

OpenAPI ちょっとSwaggerとかOpenAPIとかを調べていて。 色々とググったりしていて、参考になったURLを貼っておきます OpenAPIのツールの紹介 Stoplight Studio Prism Dredd future-architect.github.io Zozoさんのテックブログ OpenAPIそのものの説明 Goで…

Go言語で、multipart/form-dataのテストをする

Go

multipart/form-dataのテストを行いたい(featureテストのような) ここのサイトがとても参考になりました stackoverflow.com HTML <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <title>{{ .Title }}</title> </head> <body> </body></html>

Go言語のテストで色付けする

Go

ただの備忘録ってレベルですが。 go test 出力が真っ白だと見にくいので、それを解消します。 How to resolve github.com これを使うだけです。 How to user go get -u github.com/rakyll/gotest これでgotestが入るので、これを使う。 gotest ./... -v

Go言語にて、interface{}の型変換

Go

interface{}は空のinterface C#でいうObject型のようになんでもなれる。(基底のインターフェースという認識) その空インターフェースをなにかにキャストするときの構文のメモ もうまさにこの通りなのですが。 maku77.github.io x := make(map[string]inter…