アップグレード後にリアルタイムアラートが機能しない

[cwl]

Splunk 6 にアップグレードしたところで、いくつかのリアルタイムアラートが機能しなくなりました。このような問題はどのようにトラブルシューティングすれば良いでしょうか。

[cwl · Accepted solution]

もし Splunk 4 から Splunk 6 にアップグレードされた場合、実行できるリアルタムの数（max_rt_searches）が少なくなり、リアルタイムサーチがキューにたまり、アラートが機能しなくなったように見えている可能性があります。

max_rt_searches の計算方法や詳細な説明は、limits.conf のマニュアルに記載されていますが、「max_rt_searches = max_rt_search_multiplier x max_hist_searches」と「 max_hist_searches = max_searches_per_cpu x number_of_cpus + base_max_searches」から求めることができます。

例えば、10 コアのマシンの場合、4.x ではデフォルトで base_max_searches = 4、max_searches_per_cpu = 4、max_rt_search_multiplier = 3 になっていますので、 max_rt_searches は 132 になります。

max_hist_searches = 4 x 10 + 4 = 44
max_rt_searches = 3 x 44 = 132

一方、5.x や 6.x ではデフォルトで base_max_searches = 6、max_searches_per_cpu = 1、max_rt_search_multiplier = 1 になっていますので、 max_rt_searches は 16 になります。

max_hist_searches = 1 x 10 + 6 = 16
max_rt_searches = 1 x 16 = 16

上記からわかるように max_rt_searches は 132 から 16 に減りましたので、実行されているアラートのリアルタイムサーチが 17 番目だった場合、キューされてしまいます。

なお、SavedSplunker チャネルのログレベルを INFO から DEBUG に変更することにより、以下のようなメッセージが schedule.log に出力され、リアルタイムサーチが本当にキューされていることが確認できます。

DEBUG SavedSplunker - The maximum number of concurrent scheduled searches has been reached (historical=16, realtime=16). historical=0, realtime=15 ready-to-run scheduled searches are pending.

また、なぜ base_max_searches と max_searches_per_cpu のデフォルト値が変わった理由について以下のAnswerノートに記載があります。

http://answers.splunk.com/answers/70679/why-are-the-default-values-of-max-searches-per-cpu-and-base-...

そして、サーチクォータのトラブルシューティング方法について以下の Wiki にも記載がありますので、あわせて参照してみてください。

http://wiki.splunk.com/Community:TroubleshootingSearchQuotas