Getting Data In

Splunk Webの動作について

alffsadm
Explorer

お世話になっております。
Splunk Webについてご質問があります。

現在インデックスサーバをスタンドアロンで構築し(OSはCentOS7)
設定のデータ入力→ファイルとディレクトリ→新しいローカルファイルとディレクトリからファイルを選択しログデータを追加しました。
AppのSearch & Reporting よりアップロードしたデータを検索したいのですが表示されません。

私の認識が誤っているのか、検索方法に不備があるのかの切り分けができず困っております。
初歩的な質問になり恐縮なのですがご教示頂けませんでしょうか。

よろしくお願い致します。

1 Solution

syokota_splunk
Splunk Employee
Splunk Employee

過去に類似の事象を経験したときには、以下のような対処をとりました。ご参考ください。

ケース1:csvファイルのアップロード、sourcetypeの指定画面にて、文字コードの設定が間違っており、正常にアップロード完了メッセージがでているものの、検索がヒットしないという事象が発生しました。

対応:sourcetypeにて正しい文字コードを選択した状態で、ログを取り込むことで改善

ケース2:取り込んだデータが長期間に渡る大容量データ(5年分計1GBのcsvファイル)をmonitor対象として取り込んだが、1時間もしない内に検索対象からヒットしなくなる。

原因:index作成時のdefaultのbucketローテーションサイズ(auto)だと、あっという間にfrozen対象になってしまい、削除されていた

対応:index作成時に「auto_high_volume」に変更
alt text

View solution in original post

melonman
Motivator

(他の原因で取り込めなかった方がAnswer見に来た場合のために)

データ取り込みできない場合って、_internal で取り込みファイル名を検索すると、取り込めてない場合理由が出ていた気がします。
取り込めない理由として考えられるのは以下の感じですかね。

 1. 既にファイルを取り込んでいて重複排除されている(またはcsvファイルでヘッダでチェックされている)
 2. バイナリ認識されている
 3. 取り込みデータのタイムスタンプが古すぎて保持期間を超えて即フローズンにいってる

今回ローカルデータのモニター設定しているんじゃないかと思うので、 設定-データの追加 からファイルのアップロードをした場合にデータが登録されるかどうか確認するのが良い気がします。(アップロードだと重複チェックされないので)

0 Karma

syokota_splunk
Splunk Employee
Splunk Employee

過去に類似の事象を経験したときには、以下のような対処をとりました。ご参考ください。

ケース1:csvファイルのアップロード、sourcetypeの指定画面にて、文字コードの設定が間違っており、正常にアップロード完了メッセージがでているものの、検索がヒットしないという事象が発生しました。

対応:sourcetypeにて正しい文字コードを選択した状態で、ログを取り込むことで改善

ケース2:取り込んだデータが長期間に渡る大容量データ(5年分計1GBのcsvファイル)をmonitor対象として取り込んだが、1時間もしない内に検索対象からヒットしなくなる。

原因:index作成時のdefaultのbucketローテーションサイズ(auto)だと、あっという間にfrozen対象になってしまい、削除されていた

対応:index作成時に「auto_high_volume」に変更
alt text

alffsadm
Explorer

ケース1のパターンに該当していたようで、対応したところ対象とするデータを検索することができました。
ありがとうございました!

0 Karma

melonman
Motivator

データが取り込まれていて、(おそらく)検索対象となるIndexに格納されているようであれば、以下の画面の右側にあるように、データの件数がでてきているはずです。
もし確認できなければ(雑ですが)、index=* | head 100 という検索を全時間範囲でやってみると何かしらでてくるはずです。
それでも何もでていなければ、権限周りとかデータの取り込み自体ができているか確認していく必要があるとおもいますが、もしいくつか確認作業されているようでしたらその内容と結果も共有いただければ色々追えるかと思います。

alt text

0 Karma

alffsadm
Explorer

回答頂きありがとうございます。※日が空いてしまい申し訳ありません。
サーチ画面で確認したところデータの件数が表示されているのでデータの取り込みはできているようです。
ただすべての時間を対象に"index=* | head 100 "を実行したところ”現在の時間範囲内に結果はありません”という検索結果が返ってきます。
※私の認識でも取り込めているのであればサーチ結果として出力されると考えていました…

0 Karma
Get Updates on the Splunk Community!

Webinar Recap | Revolutionizing IT Operations: The Transformative Power of AI and ML ...

The Transformative Power of AI and ML in Enhancing Observability   In the realm of IT operations, the ...

.conf24 | Registration Open!

Hello, hello! I come bearing good news: Registration for .conf24 is now open!   conf is Splunk’s rad annual ...

ICYMI - Check out the latest releases of Splunk Edge Processor

Splunk is pleased to announce the latest enhancements to Splunk Edge Processor.  HEC Receiver authorization ...