【技術メモ】fluentdパラメータチューニング考察
【技術メモ】fluentdパラメータチューニング考察
- 気にしたい設定箇所はどこかを考える。
- 適正値の提示ではない。
結論
参考リンク
v0.10→v0.12の変更点
fluentd自身のログ仕様
Monitoring Agent
EFKの事例
- fluentd→Elasticsearchのタイムアウト
- Kafka→fluentdのバッファサイズ差異
- Elasticsearchのindex生成オーバヘッド
- Elasticsearchのフィールド名にドット
- kibanaでのindex pattern作成
- fluentd
- 流量が多いとCPUが上がって詰まる
- 対策：プロセスを増やして負荷分散
- Elasticsearch
- 流量よりindex数(shard数)に注意
- 流量はスケールアウトで対応できる
- cluster stateの部分はスケールしない
At-least-once Semantics
- TCPレイヤの不通時でも再送できる
- require_ack_response
- v0.12から実装
送信側
- send_timeout：送信先が無応答時のタイムアウト、デフォルト60s
- recover_wait：送信失敗時、復旧までどれくらい待つか、デフォルト10s
- heartbeat_interval：送信先の死活監視間隔、デフォルト1s
- heartbeat_type：死活監視プロトコル、デフォルトUDP
- phi_threshold：送信失敗と判断する閾値、デフォルト8
- serverディレクィブのオプション
- name：宛先の名前。ログで使われる、必ずしもホスト名である必要はない
- host：宛先を記載。IPorホスト名（ホスト名の場合、名前解決が必要）
- port：送信で使うポート。デフォルト24224。
受信側
- port：受信するポート。デフォルト24224
- bind：受信するNW。デフォルト0.0.0.0（全ネットワーク）
