【勉強会】ElasticSearch勉強会#12

Beats Marvel：ESのクラスタ管理 Sheild：セキュリティ Watcher：

ES2.0

• LUcene5 base
• 850/2500 new
  • RC1が発表

なくなったもの

• River
• facet - aggregation
• shutdown API
• Thrift/Memcached protocol
• Bulk UDP

plugin

• Delete by query
• murmur3
• size
• Multicast discovery - 勝手にクラスタ組まれる機能
• 同梱プラグインが増えた

Mappingの変更

• フィールドの定義
• フィールドがフルパス必須
• フィールドにドットが使えない
• インデックスタイプの削除禁止
  • フィールドを消しても内部的には残ってる

QueryDSL

• Query/filterの統合
• クエリの書き方が変更

network

• Unicast
• localhostにバインド
• ローカルで5個まで勝手にクラスタ

Indexそうさを冗長に

• Trnsactionぉgのfsync5秒から毎回に

Multi Data Path Striping

• 同じシャードは同じファイルに保存 ＞レプリカが楽

• doc valuesがデフォルトに,メモリがパンクするような時に

• 処理は遅くなる

Pipeline aggregation

Index Compression

• インデックスサイズが小さく
• 時系列インデックスに最適化した圧縮もオプションであり

1>2

• 基本的な構造は変わらない
• 一部機能が廃止・追加

移行の注意点

• ローリングアップデートふか
• クラスタ停止して、順次移行
• ダウングレード不可、バックアップを取っておく
• 移行チェックするプラグイン、Migration Checker
• luceneは一つ前のバージョンまでしか読めない、ES1.6以降のUpgradeAPIをつかえばOK

• 1.6未満なら1.7にあげてから2.0にあげた方がいい、もしくは2.0に入れ直し

• SolrはluceneのWebラッパーがスタートなので、スケールが苦手

• 日本にサポートベンダーがあり

位置情報検索 Holiday

• function_score_query

• 複数条件のクエリ結果のスコアを計算

• gauss function

• offset / scale