Alerting

アップグレード後にリアルタイムアラートが機能しない

cwl
Contributor

Splunk 6 にアップグレードしたところで、いくつかのリアルタイムアラートが機能しなくなりました。このような問題はどのようにトラブルシューティングすれば良いでしょうか。

Tags (3)
0 Karma
1 Solution

cwl
Contributor

もし Splunk 4 から Splunk 6 にアップグレードされた場合、実行できるリアルタムの数(max_rt_searches)が少なくなり、リアルタイムサーチがキューにたまり、アラートが機能しなくなったように見えている可能性があります。

max_rt_searches の計算方法や詳細な説明は、limits.conf のマニュアルに記載されていますが、「max_rt_searches = max_rt_search_multiplier x max_hist_searches」と「 max_hist_searches = max_searches_per_cpu x number_of_cpus + base_max_searches」から求めることができます。

例えば、10 コアのマシンの場合、4.x ではデフォルトで base_max_searches = 4、max_searches_per_cpu = 4、max_rt_search_multiplier = 3 になっていますので、 max_rt_searches は 132 になります。

max_hist_searches = 4 x 10 + 4 = 44
max_rt_searches = 3 x 44 = 132

一方、5.x や 6.x ではデフォルトで base_max_searches = 6、max_searches_per_cpu = 1、max_rt_search_multiplier = 1 になっていますので、 max_rt_searches は 16 になります。

max_hist_searches = 1 x 10 + 6 = 16
max_rt_searches = 1 x 16 = 16

上記からわかるように max_rt_searches は 132 から 16 に減りましたので、実行されているアラートのリアルタイムサーチが 17 番目だった場合、キューされてしまいます。

なお、SavedSplunker チャネルのログレベルを INFO から DEBUG に変更することにより、以下のようなメッセージが schedule.log に出力され、リアルタイムサーチが本当にキューされていることが確認できます。

DEBUG SavedSplunker - The maximum number of concurrent scheduled searches has been reached (historical=16, realtime=16). historical=0, realtime=15 ready-to-run scheduled searches are pending.

また、なぜ base_max_searches と max_searches_per_cpu のデフォルト値が変わった理由について以下のAnswerノートに記載があります。

http://answers.splunk.com/answers/70679/why-are-the-default-values-of-max-searches-per-cpu-and-base-...

そして、サーチクォータのトラブルシューティング方法について以下の Wiki にも記載がありますので、あわせて参照してみてください。

http://wiki.splunk.com/Community:TroubleshootingSearchQuotas

View solution in original post

0 Karma

cwl
Contributor

もし Splunk 4 から Splunk 6 にアップグレードされた場合、実行できるリアルタムの数(max_rt_searches)が少なくなり、リアルタイムサーチがキューにたまり、アラートが機能しなくなったように見えている可能性があります。

max_rt_searches の計算方法や詳細な説明は、limits.conf のマニュアルに記載されていますが、「max_rt_searches = max_rt_search_multiplier x max_hist_searches」と「 max_hist_searches = max_searches_per_cpu x number_of_cpus + base_max_searches」から求めることができます。

例えば、10 コアのマシンの場合、4.x ではデフォルトで base_max_searches = 4、max_searches_per_cpu = 4、max_rt_search_multiplier = 3 になっていますので、 max_rt_searches は 132 になります。

max_hist_searches = 4 x 10 + 4 = 44
max_rt_searches = 3 x 44 = 132

一方、5.x や 6.x ではデフォルトで base_max_searches = 6、max_searches_per_cpu = 1、max_rt_search_multiplier = 1 になっていますので、 max_rt_searches は 16 になります。

max_hist_searches = 1 x 10 + 6 = 16
max_rt_searches = 1 x 16 = 16

上記からわかるように max_rt_searches は 132 から 16 に減りましたので、実行されているアラートのリアルタイムサーチが 17 番目だった場合、キューされてしまいます。

なお、SavedSplunker チャネルのログレベルを INFO から DEBUG に変更することにより、以下のようなメッセージが schedule.log に出力され、リアルタイムサーチが本当にキューされていることが確認できます。

DEBUG SavedSplunker - The maximum number of concurrent scheduled searches has been reached (historical=16, realtime=16). historical=0, realtime=15 ready-to-run scheduled searches are pending.

また、なぜ base_max_searches と max_searches_per_cpu のデフォルト値が変わった理由について以下のAnswerノートに記載があります。

http://answers.splunk.com/answers/70679/why-are-the-default-values-of-max-searches-per-cpu-and-base-...

そして、サーチクォータのトラブルシューティング方法について以下の Wiki にも記載がありますので、あわせて参照してみてください。

http://wiki.splunk.com/Community:TroubleshootingSearchQuotas

0 Karma
Get Updates on the Splunk Community!

Splunk Observability Cloud | Unified Identity - Now Available for Existing Splunk ...

Raise your hand if you’ve already forgotten your username or password when logging into an account. (We can’t ...

Index This | How many sides does a circle have?

February 2024 Edition Hayyy Splunk Education Enthusiasts and the Eternally Curious!  We’re back with another ...

Registration for Splunk University is Now Open!

Are you ready for an adventure in learning?   Brace yourselves because Splunk University is back, and it's ...