AmazonElasticsearchService（AES）でログ収集、分析を試しています。

アクセスログはサービスを運用する上で大切ですね。

複数サーバーで運用しているためログ分析がしっかりできるものが欲しく、前から使いたかったElasticsearch＋Kibanaがすぐ使えるAESを利用してみました。

使ってみて便利な点、困った点を記載してみます。

ちなみにデータ転送にはFlentdを利用しています。

すぐ使える

AWSのサービスにすべて共通しますが、使うだけならすごく簡単です。

インスタンスを立ち上げるだけで、データを送信できるようになります。

いまだとバージョン5.3が最新かな。

あとはデータを送る際にしっかり送信できているかを確認できるやり方を理解していれば問題ないですね。

アクセス制限設定

困った点はアクセス制限にVPC（プライベートネットワーク）が利用できなかった点です。

プライベートIPで制限をかけてようとしていたのですが、まったくアクセスできずかなり時間をかけてしまいました。 IP制限を行う場合は、グローバルIPでの制御をおこなってください。

そのため、ログサーバーをひとつ立てて、AESへのアクセスを１台からに限定すると運用しやすいかと思います。

IAMでの制御もできますが、IPでできたのでやっていません。たしかFluentdのプラグインでIAM制御も簡単にできた人もいたので調べれば出てくるかと思います。

curlでアクセス可能であればアクセス可能です。

実際の運用ではアクセスログを送信することになるため、データを送信するところまでないと運用まで使えないと思うため、使ったミドルウェアと設定周りも書きたいと思います。

かなりFluendではバージョン周りでかなりやられました。

ElasticSearch1.3と5.3では、やっぱりだいぶ違いますよね。

Flentdのプラグインのバージョンを上げないと使えなかったので、バージョン等も記載できればと思います。