【勉強会】Elasticsearch勉強会#21
2017-10-11
https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/243671140/
6.0 is comming
Jun Ohtaniさん
タイトル：What's coming in Elastic Stack 6.0 (50分)
Elasticsearch
マイグレーションプラグイン提供
- 2.xから5.xの時もあった、今回も出す
- 使えなくなるものをチェックしてリストアップしてくれる
- 今回は非推奨のクエリを投げると警告が出るようになる
無停止アップグレード可能
- 今までは、メジャーアップグレード時は停止が必要だった
- マイナーアップグレードはクラスタを１台ずつ止めてできた
- 今回は5.6から6.xはクラスタ１台ずつで可能、5.6からのみ
- X-packの中にアップグレードのUIとAPIも付ける
Luceneバージョン
- 7になる
- DocValueの圧縮方式が変わる
- 空のフィールドが多い場合のディスク使用量と処理性能が上がる
- データを入れるときにソートをしながら入れてくれる
- よく使うクエリに合った順で
なくなる機能
とりあえず
- アップグレードアシスタントUI/APIを使って
- Deprecationログ使って
- リリースノート読んで
- テストして
_type
- 間違えやすいので_typeはひとつだけに限定する、複数はエラー
- 5.xからのアップグレードなら、複数でも読める
- Indexの単位でしかMappingを持たない、Luceneの制約
- わかりやすく_typeを入れてただけ
_template
- index_patternsに名前が変わる
content-type
- 指定が変わる？（※聞いてなかった）
- curl使う場合は注意らしい
_all
- なくなる
- その代わりインデックスのサイズが節約できる
- kibanaで暗黙的に使ってたのは、選べるようにするのでだいじょぶ
2.x系は一回5.xに上げて、リインデックスしないとダメ ２つ前のバージョンのインデックスが読めない（Luceneの制約）
Kibana
CSVダウンロード対応
Dashboardオンリー対応
- 管理者に見せるだけで触らせない、とかできる
- X-Pack Goldのセキュリティーの機能
フルスクリーンモード対応
- データセンターとかモニタリング向け
“Kuery”導入
- JavaScriptっぽいクエリが書ける
- Luceneクエリが書きにくいという声に応えた
- デフォルトはオフ
- Timelionとも併用しやすいかも？
アラートメール
- メールが出せるようになる
- X-Packのモニタリングの機能
Watcherの設定簡素化
Logstash設定ビューア
- X-PackのBasicで使える
Logstash
- Multiple Pipeline
- 別々のパイプラインができるようになる
- 今までは設定ファイルを分けて書いても内部的に一つのパイプラインだった
- 設定がEsに入るのでバックアップとっておける
Beats
- KubernatesやDockerもサポート
- MetricbeatやFilebeatのサポート拡大
- Kibanaのモジュールも
Elastic Stackで何を可視化すれば性能改善が捗るのか
北野 勝久さん（株式会社スタディスト）
SRE本でGoogleさんが提唱している The Four Golden Signalsをとろうよ、って話
ちょっと脱線して、NewRelicの話 性能改善に使うには非常によい 有料プランでも保持期間が90日 無料プランで他の監視ツールの補助的に使うといい
いい感じにやってくれる部分が、監視ツールによって違う 集約したい気持ちはあるけど、そこに時間をかけても 目の前の性能改善施策が捗るわけじゃない。
レスポンスタイムはAverageより99%tileを取る Averageだと傾向見づらい URIごとのレスポンスタイムとカウント数を取る カウント数が大きいところへの対処がSaturation改善に効果大 HTTPステータスコードの割合 サービス全体の健全度 スロークエリ ボトルネックの特定用に アクセス元の位置情報 具体的には未活用
日比野 恒さん （フューチャーアーキテクト株式会社） タイトル：AWS環境に合わせてElasticStackをログ分析基盤として構築した話 (25分)
EsをVPC内で構築する時のポイント LogstashでAWSのログを取り込む時のコツ 課題
ドキュメントIDをハッシュ化して、Es突っ込むときに重複排除するのをやったことあるらしい Logstash結構CPU食うらしい
