年中アイス

いろいろつらつら

elasticsearch bulkAPIで地味にはまる

elasticsearch 6.3が出たので、データ突っ込んで試してみるかと、index作ってデータを投入することに。 curl叩きながら、確認を進めてましたが、BulkAPIを使って、データを入れるときに、以下のようなエラーが出ました。

{"error":"ActionRequestValidationException[Validation Failed: 1: no requests added;]","status":400}

400でvalidationなので、投げてる側の問題と判断して、BulkAPI用のJSONを眺めてみても、特にJSONとしてもelasticsearchとしても問題なさそう。 判明した原因は、curl-dを使っていたことでした。ドキュメントにも

If you’re providing text file input to curl, you must use the --data-binary flag instead of plain -d. The latter doesn’t preserve newlines.

curlなら--data-binaryを使ってくださいと書いてあり、-dがこの省略形かと勘違いしていました。 create indexや検索など他のエンドポイントだと-dでも通るのでなんでだろうと。

elasticsearchのドキュメントちゃんと書いてあってすごいですね。

参考

hakoに機能追加

ECSを本格利用し始め、デプロイの管理にhakoを使うことにしました。最近ECSに機能追加があり、hako未対応のものを使いたくなったこともあり、hakoに追加してみることにしました。

作った機能

いくつか機能を追加して、プルリク投げてマージされたもの、プルリク中のもの、まだ確認中のものと4つ作っています。必要に応じて順次追加していて、投げれそうなものはPRにしています。主に、internalなmicro serviceを動かすユースケースでECSを使っているので、それに応じたものがあります。

health check grace periodサポート

ECS導入する時に使いたかったので、追加してプルリクしました。さすがにこれは単純な設定値の追加なのですぐマージされました。

github.com

この変更で初めてhakoいじったんですが、Rubocopのエラーに悩まされて、自分で変更した部分がルールに合っていなかったものと、Rubocop自体のアップデートのせいなのかエラーになっていたものとありました。

NLBサポート

gRPCをコンテナにして、ECSで動かす予定で、NLB(Network Load Balancer)をサポートしました。PR反応がないので、とりあえず置いたままです。

github.com

一つのALBに複数のECSサービスを紐付ける

hakoはデフォルトで、設定を書いたymlファイル名のALBを作ります。ただ、開発環境などで、hakoファイルごと(サービスごとに)ALBできるとお金かかるので、ポートを変えて、ALBを指定して同一のALBを使うようにしたものです。ポートが変わるので、internal ALB前提です。

GitHub - reiki4040/hako at feature/add-service-to-exists-elbv2

NLBサポートを先にPR出してるのは、これをNLBにも適用したいためですが、これは方針が本家の人が考えるのと合うのかという点があります。一応自分の環境でもしばらく使ってみてからにしようかなという状態です。

ECSのcontainer health checkのサポート

2018/03にECSに追加されたばかりの機能で、とりあえず使ってみようとのことで実装しました。設定値は反映されることを確認しました。AWS SDKのバージョン上がってます。

GitHub - reiki4040/hako at feature/container_healthcheck

機能追加したhakoを使うためのブランチ

上記をまとめて動作確認する用に、featuresと言うブランチを作って、そこに上記未マージ分をまとめて、バージョン番号変えてgemを作って試しています。自分の変更を入れたgemを作る方法は後述しています。

hakoをいじるにあたってのメモ

Rubyは普段使っていない言語なので、とりあえず自分でhakoのコードいじったときのメモです。

まず、変更したコードの実行について。exe/hakoがあったので、lib/hako/version.rbを変えてとりあえずexe/hako --versionしてみましたが、変更したバージョンは出てきませんでした。

調べてみるとbundlerを使って関連ライブラリを入れて、bundle exec hakoといった形でやる必要があったようで、それをやったらローカルの変更が反映されて実行することができました。

  • bundlerのインストール
gem install bundler
  • 関連ライブラリをローカルの環境(プロジェクト?以下に)インストール
bundle install --path=vendor/bundle --binstubs=bundle_bin

—binstubs=bundle_binはrbenv用っぽいので使わなければ不要かも。

  • bundle execで実行するとローカルの変更分が実行されます。
bundle exec hako —version

これでとりあえず自分でhakoのコードを変更したものをhakoコマンドとして実行できます。 また、hakoはrspecでのテストとrubocopでのコードスタイルチェックが実行できます。

bundle exec rake

最初これやってなくて、テスト未実行状態でした。

自分でgemを作って使う

hakoは、bundle exec rake installでpkg/以下にgemファイルが作られます。 それを対象サーバでgem install --local <gem>とすれば、インストールでき、使用することができます。

これで、自分の環境で変更を入れたhakoを使うことができます。

RubyAWS SDKのリファレンス

Ruby SDKのdocumentがよくわからなくても、aws cliで同様の機能(API)の調べて動かすと、項目とか、実際の値も見れてわかりやすかったです。Rubyに限らず、分からなかったらwas cliで動かしてみるのわかりやすいです。

所感など

普段はGoを書くことが多く、Rubyはツール使ってるぐらいで、作法がよくわからない感じでコード書きましたが、とりあえず欲しい機能は実現はできています。rakeで足回りのことができるようになっていたので、実現したいことのコードを書くぐらいで済んだのかなと思います。

一応本家に取り込んでもらいたいなーとは考えつつ*1自分の環境で使って、使い勝手を確認中です。個人的には、Goでワンバイナリで配布できるようなものを作りたくはありますが、まずhakoを使って運用してみて、どうあるのが自分としては好みなのか(使いやすいのか)考えていこうかなと思ってます。

参考など

*1:あまり環境固有の機能実装はしない

API Gateway+LambdaのSlack通知APIをCloudFormationで作る

以前、三編に分けて、SlackへPostするWebAPIを、API Gateway+Lambda+node.jsで作りました。

しかしその後、AWS ConsoleのLambdaのUIが変わったので、一部のキャプチャが参考になりづらくなってしまいました。キャプチャし直すのも手間なので、今度はCloudFormationを使って自動で構築します。

CloudFormationで自動構築する

CloudFormation templateを作ったのであとは実行するだけです。READMEにも書いてますが、以下3段階です。

  • SlackのWebhook URLを発行
  • CloudFormationを実行
  • CloudFormationの結果をもとに、slackへのpostを実行

SlackのWebhook URLを発行

前編を参考に発行します。 公式のWebhookドキュメントも一応添えておきます。

発行できたら、apigateway.json"SLACK_WEBHOOK_URL":"none"を取得したURLで置き換えます。(noneを置き換えます。)

CloudFormationを実行

awsコマンドを使って、stackを作成します。stackの構築が終わるまで、数分かかります。

aws cloudformation create-stack --stack-name PostSlackCfn --template-body file://apigateway.json --region ap-northeast-1 --capabilities CAPABILITY_IAM

CloudFormationの結果をもとに、slackへのpostを実行

結果を取得します。

aws cloudformation describe-stacks --stack-name PostSlackCfn

この結果のOutputの部分のapi keyとpost urlをコピーしておきます。

API keyは別途取得する必要があり、前述のapi keyを使って取得します

aws apigateway get-api-key --api-key <your api key id> --include-value

--include-valueオプションがないと、API keyは表示されません。

curlで投げて、HiとSlackに届けばOKです。

curl -XPOST <your post url> -H "x-api-key: <your api key>" -H 'Content-Type: application/json' -d '{"message":"Hi"}'

届かない場合は、CloudWatchLogsでLambdaのログを確認したり、後編に書いているように、API Gatewayのテスト実行をやるなどで調べてみてください。

まとめ

API Gatewayは手で設定していくのは面倒なので、CloudFormationの方が向いてますね。今回、CloudFormation初めて扱いましたが、基本的な構成要素を理解するまで、作成、削除を繰り返したので時間がかかりました。

課題としては、WebHookURLみたいなリポジトリに入れたくないような値はどう扱うのがいいのか。また、もっと大きなくくりでは、CloudFormationが失敗した時に、全部消して最初からになったので、実運用で失敗した時に、うまくリカバリできるのかが不安要素。今回はそこまで調べてないです。

主にCloudFormation化について書いたので、元々の構成詳細については、三編それぞれ見てもらえればと思います。

ここからは、つまづいた点などのメモ。

最初参考にした記事

AWS CloudFormation が Amazon API Gateway をサポートしたので使ってみた | Developers.IO

ここを参考にcloudformationでAPI gatewayのサンプルを作成してみました。 APIを定義して、Resource(URL Pathになるところ)を定義して、Methodを定義する形。とりあえずすぐできました。

DeploymentとMethodで起きる順序問題も、ここにあるDependsOnで理解しました。

/に対してMethodを定義したい

参考にしたのは、Resourceを作る前提でしたが、もともと/に直接POSTで動かしていたので、どうやるのかなと。 結果Resource定義なしでMethodのResourceには、{ "Fn::GetAtt": [“PostSlackCfn”, "RootResourceId"] } を指定すればよかったです。

Lambda関連を追加したら、create stackでエラー

An error occurred (InsufficientCapabilitiesException) when calling the CreateStack operation: Requires capabilities : [CAPABILITY_IAM]

調べると以下のようなものが出てきました。

IAMが絡むと必要になるようで、LambdaとそのRoleを追加したタイミングで発生したようです。 —capabilities CAPABILITY_IAMを追加したら動くようになりました。*1

Lambdaの環境変数を定義したい

これはすぐ見つかりました。

でも秘匿情報はコミットしたくないので、どう別管理するのがいいのかは未解決。今回はサンプルで自分のローカルで変更して実行で済ませています。

Stageを定義しないとUsagePlanにStageを指定できないが、DeploymentとStageを両方書くとStageがすでにあるエラーが出る

DeploymentでStageが作られるので、それをUsagePlanに指定しようとしましたが、うまく指定の仕方がわからず。Deploymentで作成させるStageの名前を入れても、そんなものはないと怒られる始末。さらにDeploymentとStageで同じ名前にすると、すでにあるからダメと。

結局解決策わからず、Stageを定義しないと指定できないので、以下を参考に、Deploymentではダミーを作って、Stageを別定義して、それをUsagePlanに指定しました。

参考

*1:CAPABILITY_IAM、はっきり理解はできてません。権限いるから明示的に許可するってことでしょうか