The issue you mentioned here was caused by SPL-96089 and fixed in 6.3.0. There was some situation which can cause a race between IndexProcessor and the process-spawn call for directory removal when deleting an index. Please upgrade to versions later than 6.3.0 to fix this issue. ... View more

DEBUG情報が出力されたsearch.logに以下のようなメッセージが表示されている場合、SPL-124350の問題が発生している可能性があります。 DEBUG DistributedSearchResultCollector - Pausing transaction on write to uri: http://xx.xx.xx.xx:8089/services/streams/search?sh_sid=yyyyyyyyy.zzzz エラーの原因は、search headがindexerから返された検索結果の処理に追いつかず、search head側のqueueが一時停止(pausing)してしまい、12秒以上に経ってもsearch head側からindexer側に通信がないときに、indexerがsearch headとのソケットをクローズしたため、エラーが表示されている可能性が高いです。 回避策としては、search head側のlimits.conf内のmax_chunk_queue_sizeを増やすことで回避できます。 [search] max_chunk_queue_size = 30000000 また、6.4.5からは以下のパラメータがserver.confに追加されたため、indexer側のこれらのパラメータを増やすことで今回の問題を解決できます。 [httpServer] keepAliveIdleTimeout = 7200 busyKeepAliveIdleTimeout = 12 There are 2 queues in search head side. One is the application layer queue (max_chunk_queue_size) and the other the TCP layer queue (TCP recv queue). When users run a search in search head side, it will issue the search to indexers and indexers will search for the events in their local buckets. Those search results will be send to TCP layer's TCP send queue of indexers which will go to search head side's TCP recv queue. If indexers are sending large amount of result to search head and it can not keep up reading those results then chunk queue will fill up and search head will pause from getting the search result from queue. Now if indexers have already done the work of sending all search result to TCP send queue then the connection will be sitting idle for the indexer. Indexer will wait for 12 second in idle state before closing the socket and you will get some inconsistencies in search result if the sockets is being closed abruptly by indexer. SPL-124350 has fixed this issue by adding a new parameter call busyKeepAliveIdleTimeout in server.conf so you can tune this 12 second value. The parameter has been added to version 6.3.9, 6.4.5 and 6.5.1. Please refer below documentation for details about these 2 parameters. http://docs.splunk.com/Documentation/Splunk/6.4.5/Admin/Serverconf If you can not upgrade your indexers then as workaround you can increase max_chunk_queue_size of your search head in limits.conf [search] max_chunk_queue_size = 30000000 ... View more

以下のようなメッセージがsplunkd.logに出力されているかを確認してください。 INFO ScopedSTLock - Waiting to acquire lock for path=/opt/splunk/var/lib/splunk/xxx/db/.db_nnnnnnnnnn_mmmmmmmmmm_1.rbsentinel 出力されている場合、バケット内にrbsentinelファイルを存在しているかを確認してください。 存在している場合、splunkを停止し、rbsentinelファイルを削除し、splunkを開始してから、再度deleteコマンドを実行してください。 ... View more

エラーメッセージの意味は、バケットID「ZZZZZZ」がクラスタバケットではなく、スタンドアローンバケットであるため、Cluster Peer YYYYYYがクラスタにjoinできなくなっています。 以下の手順で問題のスタンドアローンバケットを削除することにより、Cluster Peer YYYYYYが再度クラスタにjoinできるようになります。 １）Cluster Masterで以下のコマンドを実行し、メンテナンスモードを有効にする。 splunk enable maintenance-mode ２）ターミナルで問題のバケットを格納しているCluster Peerにアクセスし、以下のコマンドでCluster Peerを停止する。 splunk stop ３）ターミナルで問題のバケットを格納しているインデックスのフォルダに遷移し、.bucketManifestファイルから問題のバケットIDに該当するバケットフォルダを特定し、問題のバケットフォルダをSPLUNK_HOME以外の一時フォルダに移動する。 もう少し詳しく説明すると、例えばCluster Master上ではバケットID (bid) 「_internal~1~25DE47F2-446C-4A2A-991A-66022B9425A7」が表示されている場合、問題のCluster Peerの「SPLUNK_HOME/var/lib/splunk/_internaldb/db」に遷移し、catコマンドで「.bucketManifest」内容を確認すると以下のようにbidとバケットフォルダのマッピング情報が表示され、問題のバケットは「rb_1442301376_1442300577_1_25DE47F2-446C-4A2A-991A-66022B9425A7」であることを特定できる。この「rb_1442301376_1442300577_1_25DE47F2-446C-4A2A-991A-66022B9425A7」バケットを削除するか、SPLUNK_HOME以外の一時フォルダに移動する必要がある。 $ cat .bucketManifest id,path,"raw_size","event_count","host_count","source_count","sourcetype_count","size_on_disk",modtime,"frozen_in_cluster","origin_site" "_internal~1~25DE47F2-446C-4A2A-991A-66022B9425A7","rb_1442301376_1442300577_1_25DE47F2-446C-4A2A-991A-66022B9425A7",399421,2225,1,8,7,344064,1442385264,0,default "_internal~1~6BF0E343-1F7B-408E-B619-58E5187496AD","db_1442301329_1442300687_1_6BF0E343-1F7B-408E-B619-58E5187496AD",308958,1787,1,8,7,286720,1442301397,0,default ４）以下のコマンドでCluster Peerを起動する。 splunk start ５）Cluster Masterで以下のコマンドを実行し、メンテナンスモードを無効にする。 splunk disable maintenance-mode ６）Cluster Masterからエラーメッセージが表示されなくなることを確認する。 ... View more

バージョン5ではCherryPyを使っていましたが、バージョン6からはDjangoを使っています。 ... View more

503エラーが表示された理由は、恐らく30秒以上にsplunkwebとsplunkd間で通信がなかったため、コネクションがタイムアウトし、そのようなエラーが表示された可能性があります。タイムアウトの時間を調整することによって、事象を改善できます。 Splunk 6以降のバージョンを使っている場合、web.conf内の以下のパラメータでsplunkwebとsplunkd間のタイムアウト時間を増やすことができます。 splunkdConnectionTimeout = <integer> * Number of seconds to wait before timing out when communicating with splunkd * Must be at least 30 * Values smaller than 30 will be ignored, resulting in the use of the default value * Defaults to 30 ... View more

"index=myvirtualidx"のようなサーチだけだとMRジョブが生成されません。また、"index=myvirtualidx | stats count by source"のようなサーチの場合は、Smartモードで検索したときにだけMRジョブが生成されます。Verboseモードの場合はMRジョブが生成されない仕様となっています。 ... View more

ArchiveProcessorがgzファイルを読み込んでいる最中にSplunkを再起動すると、重複したイベントがインデックスされる可能性があります。回避策としては、gzファイルを解凍した状態でmonitoringすることです。 ... View more

No. _INDEX_AND_FORWARD_ROUTING must present at input stanza for it to support selective indexing as mentioned in below documentation. http://docs.splunk.com/Documentation/Splunk/6.2.3/Forwarding/Routeandfilterdatad#Configure_selective_indexing [input_stanza] _INDEX_AND_FORWARD_ROUTING=<any_string> ... ... View more

format take double the memory of results due to formatting. To limit memory usage add maxresults in search query. This will limit the number of results to return. http://docs.splunk.com/Documentation/Splunk/latest/SearchReference/format ... View more

By default, Hunk will use SimpleCSVRecordReader reader to process csv files and convert csv to json. By using SplunkLineRecordReader, you can avoid this conversion which enables you to use Splunk Enterprise's search time field extractions settings. So you will need to use the default line reader to let the splunk parsing pipelines do all the event breaking etc. To use the default line reader you will need to add "vix.input.1.recordreader = SplunkLineRecordReader" in you virtual index. [sampledata] vix.input.1.path = /data/... vix.provider = cdh4 vix.input.1.recordreader = SplunkLineRecordReader ... View more