Getting Data In

フォワーダーが全てのログを転送しない

Satoru_Aoyagi
New Member

5分間隔でネットワーク共有エリアに出力されるテキストデータを、フォワーダー経由で転送しているのですが、全てのログが転送されません。
5分間隔で出力されるため、毎日288個のログが取り込まれるはずなのですが、現状は1日30~40個程しか転送されない状況です。
転送されるデータとされないデータで規則性があるわけでもなく、時間、サイズ等は全てまちまちです。
データの内容に違いはありますが、文字コード、データ内容のフォーマットは全て同一です。

どのような原因が考えられますでしょうか。

以下、取り込み方法です。
・Linuxサーバ上で5分毎にローカルディスクへコマンド結果を出力
(上書きではなくファイル名末尾に時間を記載して全て別ファイルとして出力)

・毎日AM1:00にローカルの出力結果をネットワーク共有エリアに差分コピー

・ネットワーク共有エリアをフォワーダー(windowsサーバー)でモニター

0 Karma
1 Solution

to4kawa
Ultra Champion

to4kawa
Ultra Champion

https://qiita.com/odorusatoshi/items/5a703b9befc253ab7deb
こちらを参考に確認してください

Satoru_Aoyagi
New Member

internalを確認したところ、ログの内容が同一とみなされ、別ファイル名でも転送されていないことがわかりました。
crcSalt=をinputs.confに追記し、全てのログが転送されることを確認しました。
ご回答頂きありがとうございました。

0 Karma
Get Updates on the Splunk Community!

Ready, Set, SOAR: How Utility Apps Can Up Level Your Playbooks!

 WATCH NOW Powering your capabilities has never been so easy with ready-made Splunk® SOAR Utility Apps. Parse ...

DevSecOps: Why You Should Care and How To Get Started

 WATCH NOW In this Tech Talk we will talk about what people mean by DevSecOps and deep dive into the different ...

Introducing Ingest Actions: Filter, Mask, Route, Repeat

WATCH NOW Ingest Actions (IA) is the best new way to easily filter, mask and route your data in Splunk® ...