fluentd casual talk #2に行ってきました。
最初の@just_do_neetさんの出だしがかなり衝撃的でした。
- ログは、1TB/day over (これは圧縮済みの認識)
- そのうち、1件でもロストしたらそれは障害
根本的なログに対する姿勢が違う・・・！！
個人的には、もし若干のロストがあっても簡便に集約を行えることを優先したいと思っていました。
それにしても、1TBってーと思いましたが、ログの量って別に決まりはなくて、積極的に数字を見るために自ずと出すこともできるんですよね。そういった意味でも、積極的にログを使われているのかなと感じました。大量のログを何とかできるのがfluentdと、HDFSのなせる技なのかな。
発表で個人的に気になったのは、主に3つ。詳しい内容は、Ustやスライド等があがると思うので、感想を主に。
- stdout-hook
- haikanko
- ストリーミング集計
stdout-hook @repeatedlyさん
heroku用に提供したら反響があったため、汎用化されたそうです。標準出力に出すだけで、特定のprefixがあれば、TDまたは、fluentdに出力。ロガーの導入不要。
標準出力に出せば勝手にログとして出て行くのはいいですね。説明にもあった通り、必ずどの言語もあるのと、プログラムでなんかあって落ちるってことはないので、安心して手を入れられます。
なんとなく、これに反響があるのはわかる気がします。
Haikanko という Fluentd クラスタ管理ツールの話 @sonotsさん
ATNDに出てたタイトルで、haikankoって載ってたんですが、配管工と読み切れず、ハイ↑カン↓コ？変わった名前だなぁと思ってました。スライド見て気づきました。
fluentdのクラスタ管理ツール（設定ファイルデプロイツール）と紹介されてましたが、トークにあったように、監視設定を主体としたWebUIでの複数ノード（サーバ）間の一括設定生成とデプロイでした。実際に通知がくるデモもあって、あれをWebUIから設定して使えるのは便利そうです。
確かにタグとかの設定は、ノードまたがると間違えやすいので、一括設定は必要になってきそうですね。今後、監視以外の用途も増えそうで、一括した「SI的に言うとソリューション」ができて行くのかなーと思いました。
fluentd+Esperでストリームに対してクエリを発行 @angostura11さん
今、流れているログに対してクエリを発行できるそうです。今ぐらいの５秒間のアクセス数とか、そういったクエリを発行すると結果を返してくれるそうです。
これを仕込んでおいて、いろいろなクエリで検証をして、継続的に取った方がいいものは、datacounterとかあの辺で集計して行くようにするなど、試行錯誤の為に良さそうです。
これは、期待大な仕組みな気がします。fluentdの上のレイヤでのリアルタイム。
TwitterのStormは、よく知らないんですが使われ方はこんな感じなんでしょうか。
参加してみて
他には、認証および暗号化つきforwardの検証お願い、は確かに正論だなーとか、fluentd-plugin-extra-params便利そうだーとか、fluentd->Excel????とか。
一番は、みんな面白そうに話しているのが印象的でした。
カジュアルとイベント名についているのに、会社帰りでスーツきてたので、若干会場で浮いてたかもしれませんが、160人もいればわかんないはず。やっぱりスーツの会社だと、こういった所に興味がないのか、忙殺されて来れないのか、どうなんでしょう。
今回、初めて参加したのでTwitterで、ちらちら見かけている方が実際にどんな方なのか見れたのも面白かったです。主催の@tagomorisさんよっぽどビール好きなんだな、とか。
主催/登壇者/会場提供/運営など、開催関係者の方々ありがとうございました。
こういったイベントは刺激を受けられて、モチベーションが上がるので、また積極的に参加していこうと思います。
