年中アイス

いろいろつらつら

fluentd

systemdから出るjournalログをfluentdで扱う

Amazon Linux 2から、常駐サービスはsystemdで扱われるようになったので、fluent-plugin-systemdを使って収集しましょう。

Fluentularを使って、fluentd in_tail pluginのformat属性に入れる正規表現を簡単に確認する。

以下サイトで、チェックできるので、自前のログだったり、標準で対応してないものはここでチェックすると楽です。 http://fluentular.herokuapp.com/ ・正規表現・ログ・時刻書式 これを入れてParseボタンを押せば、ログをパースした結果が下部に表示されま…

fluent-plugin-datacounterで地味にハマったこと

特定のパターンだけ出力されないと悩んでいたら、単にパターンの連番をコピペ後に修正し忘れていて、上書きしてしまっていました。 pattern1 200 ^200$ pattern2 3xx ^3\d\d$ pattern3 4xx ^4\d\d$ pattern2 5xx ^5\d\d$ # <- here! correctly, it is 'patte…

fluent-plugin-parserから出る"pattern not match"メッセージを出さないようにしたい

2013/02/27追記 @tagomorisさんに無事pull requestマージしていただけました。ありがとうございます。 fluent-plugin-parserの0.2.2から使えるようになっています。 設定名をsuppress_parse_error_logに変更 テスト例をいただいて、無事テストコードも追加 …

fluentd casual talk #2に行ってきました。

最初の@just_do_neetさんの出だしがかなり衝撃的でした。 ログは、1TB/day over (これは圧縮済みの認識) そのうち、1件でもロストしたらそれは障害 根本的なログに対する姿勢が違う・・・!! 個人的には、もし若干のロストがあっても簡便に集約を行えること…

fluentdをUbuntu 12.04 LTSにインストール

簡単にログを収集できるということで、目を付けていたfluentdにやっと手を出しました。さくらVPSにカスタムOSでUbuntu12.04LTSを入れているので、そこに入れます。 まるっと入れられることもあって、TreasureData社が配布しているtd-agentを使います。Treasu…

fluentdから出力されたJSONを読みやすい形式でコンソールに表示するコマンド

fluentdを使い始めました。便利ですね。fluentdの使い方はまた今度にでも。出力されたログはJSON1行になり、コンソール上でぱっと確認したいときに、人の目ではちょっと見づらいので、コマンドで整形して表示確認できる方法を調べてみました。調べてみたらpy…