Getting Data In

モニターコンソールの取り込みについて

tomokazu
New Member

現在、以下の症状が発生しており対応に困っています。
このため、皆様のお力をお借りできたらと投稿致しました。
お手数となりますが、対応に伴う知見がありましたらご提示願います。
また、不足の情報がございました際は、その旨コメントをください。

<症状>
12個のファイルが存在するフォルダを、コンソールモニターで指定しましたが、
4つのファイルは正常に取り込め、残り8個のファイルは取り込めませんでした。
(取り込みエラー等のメッセージ無)

ファイルの作成はすべて同じプログラム(バッチファイル)であり、
ファイルの文字コードが相違する等はないと思っています。

■取り込みファイルについて
⇒ファイル名 : accessHH.csv ⇒"HH"の個所が作成時間となり、09~20まであります。
         モニターコンソール機能ではどうやっても13時以降のデータがある場合、ファイルが取り込みされないです。
         手動取込みの機能では正常に取り込みできています。

⇒ファイルの中身
下記のようにアクセス件数の情報がカンマ区切りで記載されています。
・1行目はヘッダー(アルファベットの個所に項目名が入っています)です。
・2行目~13行目まではデータです。ファイルの対象時間帯の行にのみ値が入ります。
  ファイルの該当時間帯行以外は0埋めされます。
このため、13時以降のファイルより、先頭から256Byteまでが同じ情報になります。
・14行目はファイルの対象時間帯の合計が入ります。

inputs.confファイルのinitCrcLengthのデフォルト値である256byteが問題と想定していますが、Splunkフォルダの配下にinputs.confが複数あり、どのフォルダに入っているファイルにどのような修正をすればよいかわかっておりません。

0 Karma

Suda
Communicator

どのフォルダに設定を加えるかは、次のように調べる事ができます。
シェルを起動して、以下のコマンドを実行します。
splunk btool inputs list --debug
参考:btoolの説明箇所
この出力を確認いただくと、入力設定を行ったフォルダが指定されたinputs.confがどのフォルダにあるか、表示されるはずです。
その該当フォルダのinputs.confをテキストエディターで、開いて、対象の"["...."]"のようなスタンザを探します。
そのスタンザの下に、必要な設定を追加して、保存。Splunkのサービス再起動によって適用します。
また、対処方法としては、2つあると思います。
1) initCrcLengthを大きく設定する。
2) crcSalt= を指定する。この設定により、先頭の256バイトが同じでも、ファイル名が違うと取り込むようになります。
参考になれば幸いです。

0 Karma

tkomatsubara_sp
Splunk Employee
Splunk Employee

splunkd.log になにかメッセージがでているはずなので、その内容を確認する必要があります。

0 Karma
Get Updates on the Splunk Community!

Take Your Breath Away with Splunk Risk-Based Alerting (RBA)

WATCH NOW!The Splunk Guide to Risk-Based Alerting is here to empower your SOC like never before. Join Haylee ...

SignalFlow: What? Why? How?

What is SignalFlow? Splunk Observability Cloud’s analytics engine, SignalFlow, opens up a world of in-depth ...

Federated Search for Amazon S3 | Key Use Cases to Streamline Compliance Workflows

Modern business operations are supported by data compliance. As regulations evolve, organizations must ...