mercari/tfnotifyがv0.3.2でGitLab CI/CDに対応したので試してみました。個人的には待望の機能追加です。tfnotifyを利用すると、GitLab CI/CDでTerraformを実行した結果をMerge Requestのコメントに反映できます。いちいちジョブの結果を見に行かなくてよい…
Cluster Autoscalerを運用していると，ノード数が増減した契機を調査したいことがあります．Cluster Autoscalerは大量のログを出力するため，闇雲にログを追うのは大変です．PrometheusとGrafanaでCluster Autoscalerの動作を可視化しておくと調査しやすくな…
QuickTimeで画面収録したmovファイルをgifファイルに変換する方法です。 Docker Hubの jrottenberg/ffmpeg イメージを利用します。以下を実行すると、サイズやフレームレートをそのままにしてファイルを変換します。 docker run --rm -v $PWD:/src jrottenbe…
Goで並行処理のコードを書いている時に以下の疑問が思い浮かびました． sync.WaitGroupを利用する場合，実行中のゴルーチンでwg.Add(1)を実行すると，wg.Wait()は呼び出し後に追加されたゴルーチンも待ってくれるか？ errgroup.Grpupを利用する場合，実行中…
Kubernetes workerをEC2インスタンスで実行する場合，何も設定しないとPodはEC2インスタンスのIAMロールを利用します．このままでは，攻撃者が悪意のあるイメージを利用して情報漏洩や破壊を行うリスクがあります．kube2iamを利用すると，Podに適切なIAMロー…
個人のAWS環境でプライベートサブネット構成を検証したいけどNATゲートウェイに毎月3,500円も払えない*1ので，NATインスタンスのTerraformモジュール int128/nat-instance/aws を作りました．主な特徴はこちらです． Auto Scaling GroupによるAuto Healingに…
Argo CDは自前でユーザ管理の仕組みを持たず*1，外部のIdentity Providerに認証を移譲するという設計思想になっています．Argo CDのHelm chartにはDexがバンドルされており，様々なIdentity Providerと連携させることが可能です．本稿では，Argo CDでGitLab …
Cluster Autoscalerを利用すると，CPUやメモリの要求量に応じてノード数を自動的に増減させることが可能です． 本稿では，Amazon EKSで以下を利用する方法を紹介します． terraform-aws-eks Module AWS Cluster Autoscaler stable/cluster-autoscaler Helm C…
DockerやKubernetesでGitLab Runnerを実行する場合，GitLab RunnerでDockerイメージをビルドするにはDocker in Dockerの特権モードを構成する必要があります．kanikoを利用すると，特権モードを使わずにDockerイメージをビルドできます． 本稿では，GitLab R…
terraform-aws-modules/acm/aws を使うとACMの証明書を簡単に取得できます．コンソール作業が一切必要ないのがうれしい． 例えば，ドメイン foo.example.com のRoute53 Hosted Zoneが存在する前提で *.foo.example.com のTLS証明書を取得するには，以下のコ…
GitLab CI/CDではビルドキャッシュがサポートされています．本稿では，KubernetesにデプロイしているGitLab Runnerでビルドキャッシュを利用する方法を紹介します． ここでは以下を利用している前提とします． AWS Kubernetes 1.13 (EKS) kube2iam Terraform…
GitLab 11.4から only:changes という記法がサポートされました．これにより，特定のファイルが変更された場合のみジョブを実行できます． https://docs.gitlab.com/ee/ci/yaml/#onlychangesexceptchanges 例えば，以下のように記述すると，ブランチをpushし…
Terraformの小ネタです．プライベートサブネットからInternet facing ALBへのアクセスを許可するため，NATゲートウェイのグローバルIPアドレスをセキュリティグループに追加する必要がありました．Terraformの aws_security_group_rule にはIPアドレスではな…
golang.org/x/tools/go/packages を利用すると，抽象構文木や型情報を利用したコードが簡単に書けるので調べてみました．日本語の情報があまりないようです． 抽象構文木を表示する Goのソースコードを読み込むには，packages.Load 関数を利用します．packag…
AWS EKSでGitLab Runnerを実行して，GitLab RunnerでTerraformを実行する方法を紹介します． 以下の流れで作業を行います． EKS workerにAssumeRoleのIAMポリシーをアタッチする． stable/kube2iamをデプロイする． GitLab RunnerのIAMロールを作成する． Gi…
Kubernetesのクライアントであるclient-goを利用して，serviceのselectorに合致するpodを検索する方法を紹介します．コマンドラインではserviceの名前を受け取るが，実際の処理はpodに対して行う必要がある場合に活用できます． クライアントの生成 準備とし…
EC2インスタンスをプライベートサブネットに配置する場合，EC2インスタンスにSSHで接続するには踏み台が必要になります．Systems Managerのセッションマネージャーを利用すると，踏み台を経由せずにEC2インスタンスにSSHで接続できます．もはやターミナルも…
とあるところで運用しているGitLab/Keycloakで発生した障害のメモ。 事象 GitLabにSAML SSOでログインしようとすると500エラーが表示される。GitLabとKeycloakの構成は以下で紹介した通りとなっている。 int128.hatenablog.com 原因 GitLab Omnibusのコンテ…
client-go@v12.0.0 で正式にGo Modulesに対応しました．それまでもGo Modulesでclient-goを利用することは可能でしたが，k8s.io/api などの依存関係のバージョンを固定する手順が必要でした（client-go#551）．LinuxとmacOSでchecksumが異なる問題（go#27925…
int128.hatenablog.com 上記の記事ではv3 REST APIで新しいブランチを作る方法を紹介しました．本記事ではv4 GraphQL APIを組み合わてAPI問い合わせを削減する方法を紹介します． 新しいブランチを作成/更新する手順は以下になります． RefのCommit SHA, Tre…
GitLabにはCI/CDの機能が統合されています．GitLab CI/CDではGitLab本体とは別のGitLab Runnerと呼ばれるノードでビルドを実行します．GitLab RunnerはJenkinsでいうJenkins Agentと同様に，普通のPCで実行したり，クラウドでDockerコンテナとして実行したり…
娘3歳半、息子8ヶ月になりました。 int128.hatenablog.com int128.hatenablog.com 近況 最近は以下のようなスケジュールで生活しています。 7:00 起床 8:40 保育園に送る 9:00-11:30 パパの自由時間 昼食 ママの自由時間 15:40 保育園にお迎え 21:30 就寝 3…
GitHub APIを利用してリポジトリにファイルをコミットするコマンド ghcp を作りました。シングルバイナリでgitコマンドに依存しないため、リリースなどでCIからリポジトリのファイルを書き換えたい場合に便利です。 github.com 使い方 GitHub Releasesもしく…
Zaimの履歴をGoogleスプレッドシートやExcelなどに転記するためのChrome Extension「zaimsheet」を作りました。 chrome.google.com zaimsheetをインストールすると、Zaim Web版の履歴画面に「スプレッドシート形式」というボタンが追加されます。このボタン…
GoのDIコンテナ実装である uber-go/dig を使ってみました。 github.com 基本的な使い方はGoDocに書いてあります。あえて3行にまとめると以下になります。 c := dig.New() c.Provide(func (/* 生成に必要な型... */) /* 生成される型 */ { /* 生成処理 */ }) …
Google Cloud Buildでは公式のイメージが数多く提供されており、コマンドに対応するイメージを指定する形になっている。例えば、gcloud コマンドを使いたい場合は以下のように gcr.io/cloud-builders/gcloud イメージを指定すればよい。 steps: - name: gcr.…
娘3歳、息子3ヶ月になりました。 最近は以下のスケジュールで生活しています。 7:00 起床 3人分の朝食を作る 着替え、顔を洗う、歯磨き（自分） 娘を起こす 朝食を食べる 着替え、顔を洗う、歯磨き（娘） 食器を洗う 保育園の荷物をまとめる 8:45 出発 9:00 …
GitHubで公開しているツールをGo Modulesに移行したので、やったことをメモしておきます。 ソースコード これまではGOPATHの内側（e.g. ~/go/src/github.com/int128/example）に作業フォルダを置く必要がありましたが、Go Modulesに移行するとGOPATHの外側で…
第二子が生まれてから1ヶ月が経ったので記録を残しておく。 産前産後 今回は里帰りではなく東京で出産することにしたので、生まれる前から休むことにした。男性の場合は産前産後休業がないため、子どもが生まれてからでないと育休を取得できない制約がある。…
AWSでKubernetesを利用する場合、Ingress Controllerの選択肢にはaws-alb-ingress-controllerやkube-ingress-aws-controller、nginx-ingressなどがあります。 aws-alb-ingress-controllerやkube-ingress-aws-controllerではKubernetesのレイヤでALBを管理で…
