【勉強会】Apache Kafka Meetup Japan #2
噛み砕いてKafka Streams
- ヤフー株式会社 森谷大輔さん
Window
Tumbling time window 5分毎のユーザ毎のPV数とか
Hopping time window 1つのイベントが複数のウィンドウにまたがる
Kafka Streamsのコンセプトがわかってから設計した方がいい Kafkaの素のAPIでも十分
Queryable State for Kafka Streamsを使ってみた
- 株式会社リクルートテクノロジーズ 佐伯嘉康さん
Kafka→Storm→Redis Kafka→KafkaStreams
Kafka Streams
Stateless Transformations Stateful Transformations
State for Kafka Streams
Statefulでしか使われない
Stateは対障害性を高める仕組み 処理結果を同時に２カ所に保存 State Store（RockDB） 内部Kafkaトピック（Log）
Queryable State
ReadOnlyKeyValueStore ReadOnlyWindowStore
Kafka for HDInsight
- 日本マイクロソフト株式会社 廣瀬 一海さん
その後，この活動はHortonworks社のHadoopディストリビューションである“Hortonworks Data Platform”のWindows版，”HDP for Windows”として結実しました。
これを，MicrosoftのパブリッククラウドであるWindows Azureで利用できるようにしたものが，今回の主題「Windows Azure HDInsightサービス」です。
Kafka logをオブジェクトストレージに連携する方法まとめ
- tansanさん
Kafka connect
Secor
Kafka通常オペレーションで遭遇する問題集
- ヤフー株式会社 梁浩軒さん
Processing Kafka topics for monitoring with Prometheus
ogibayashi
Prometheus Key/Valueに属性をもたせてクエリかける FilterとかGroupByとか
Dashboardが貧弱なのでGraphana使ってる
集計はApache Flink
データパイプラインであったトラブル
WebサーバのログをHadoopに届ける 150TB/day Kafkaベースで試行錯誤 オンプレ200台くらい
kernel関連でパッチ ラック単位で
