【勉強会】バッチ処理改善のあゆみ

20161028 バッチ処理改善のあゆみ

d-cube.connpass.com

バッチ処理改善のあゆみ

システム運用で必ずつきまとうバッチの長時間化
これに対する施策の紹介

バッチ高速化のあゆみ from dcubeio

www.slideshare.net

前提

• 言語：Java(Spring+Struts, Quartz scheduler)
• APサーバ：Tomcat
• データソース：RDS
• その他：Solr

課題

• 処理時間の長時間化
• 長時間化に伴う後続バッチの追いつき
• バッチ処理時間中のリリースやサーバ再起動ができない

施策

• ロジック
  • トランザクション回数の削減
  • 処理のマルチスレッド化
• データソース
  • インデックスチューニング
  • insert文チューニング
• インフラ
  • スケールアップ
  • クラスタリング
• 奥の手
  • マルチプロセス化

各々リスクもあり。
※後ほど更新