【技術メモ】Elasticsearch6にFilebeatでapacheのログ入れてkibanaで見る

Elasticsearch6を使って見る

概要

久しぶりにElasticsearch6を使って見る（2.6ぶり）

環境

• Mac OS X High Sierra 10.13.6
• Elasticsearch 6.5.1
• Kibana 6.5.0 ※間違えたけど動いた
• Filebeat 6.5.0 ※kibana間違えたのでついでに
• apache 2.4

前提

• java8 がインストールされていること
• apacheはとりあえずMac標準で入ってるもので
  • sudo apachectl start で起動するっぽい

手順

Elasticsearch

$ cd <任意のディレクトリ>
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.1.tar.gz
$ tar -xzf elasticsearch-6.5.1.tar.gz
$ cd elasticsearch-6.5.1

### kuromojiプラグインのインストール
$ bin/elasticsearch-plugin install analysis-kuromoji

### apacheログ用のプラグインをインストール
$ bin/elasticsearch-plugin install ingest-geoip
$ bin/elasticsearch-plugin install ingest-user-agent

### 起動
$ bin/elasticsearch

http://localhost:9200 でアクセスして、JSONが出ればOK

はじめての Elasticsearch

Kibana

$ cd <任意のディレクトリ>
$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.5.0-darwin-x86_64.tar.gz
$ tar -xzf kibana-6.5.0-darwin-x86_64.tar.gz
$ cd kibana-6.5.0-darwin-x86_64

### 起動
$ bin/kibana

http://localhost:5601/ が表示されればOK

Filebeat

kibanaの画面から、チュートリアルを開けば、以下の手順は閲覧可能。

http://localhost:5601/app/kibana#/home/tutorial/apacheLogs?_g=()

$ cd <任意のディレクトリ>
$ curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.0-darwin-x86_64.tar.gz
$ tar xzvf filebeat-6.5.0-darwin-x86_64.tar.gz
$ cd filebeat-6.5.0-darwin-x86_64/

### 設定ファイルを編集 (とりあえずsetup.kibanaのhostのコメントだけ外せばなんとかなる)
$ vi filebeat.yml

### filebeatのapache2モジュールを有効化
./filebeat modules enable apache2

### apacheのログファイルの場所を指定（var.paths: ["/var/log/apache2/access_log**"]）
$ vi modules.d/apache2.yml

### kibanaダッシュボードのセットアップ（終わってれば実行不要）
./filebeat setup

### filebeat起動
./filebeat -e

FilebeatでApacheアクセスログの取り込み(レスポンスタイムフィールド追加)

---

画面サンプル

---