Monitoring Splunk

CSVファイルのデータが取り込まれない

JA8eginner
Explorer

お世話になります。
CSVファイルをモニタリングするよう設定しているのですが、ファイルを更新してもインデックスにデータが取り込まれない場合があり、何か対応策等あればご教示お願い致します。

構成としてはデータモニタリングでCSVファイルを指定しており、
追加データが発生した際は同じ名前のCSVファイルを置き換えている(上書きしている)状態です。

何度かCSV更新を行うと、あるタイミング以降インデックスにデータが取り込まれなくなります。
タイミングはまちまちでSplunk再起動後、1回しか取り込まれない場合もあれば2,3回取り込んだ後に取り込まれなくなる場合もあります。

CSVファイルの差分判定がうまくできていないかもしれないと思い設定ファイルに設定を追加してみましたが、状況が改善しておりません。
(ヘッダは200Byte程で、データの1行目の1列目のIDが前回ファイルと異なっていても取り込まれません)

何かほかに試してみることがあれば何でもよいのでご教示いただけますと幸いです。
Note:SplunkサーバーはAWS上で動かしておりCSVファイルはEBSに格納されています。

[ inputs.conf ]

 

[monitor:///tmp/upload/targetFolder]
disabled = false
host_regex = \\(.*)\/
index = targetData
sourcetype = targetData
crcSalt = <SOURCE>
initCrcLength = 512

 

 

[ props.conf ]

 

CHARSET = UTF-8
BREAK_ONLY_BEFORE_DATE =
DATETIME_CONFIG =
HEADER_FIELD_LINE_NUMBER = 1
INDEXED_EXTRACTIONS = csv
KV_MODE = none
LINE_BREAKER = ([\r\n]+)
NO_BINARY_CHECK = true
SHOULD_LINEMERGE = false
TIMESTAMP_FIELDS = SpecifiedColumn
TIME_FORMAT = %Y/%m/%d
category = Structureds
description = Something
disabled = false
pulldown_type = true

 

 

Labels (1)
0 Karma

tkomatsubara_sp
Splunk Employee
Splunk Employee

不思議な現象ですね。

https://wiki.splunk.com/Community:Troubleshooting_Monitor_Inputs

で、デバッグログを吐かせて、なにが問題なのか、見てみたほうがよいですね。

0 Karma
Get Updates on the Splunk Community!

Index This | I am a number, but when you add ‘G’ to me, I go away. What number am I?

March 2024 Edition Hayyy Splunk Education Enthusiasts and the Eternally Curious!  We’re back with another ...

What’s New in Splunk App for PCI Compliance 5.3.1?

The Splunk App for PCI Compliance allows customers to extend the power of their existing Splunk solution with ...

Extending Observability Content to Splunk Cloud

Register to join us !   In this Extending Observability Content to Splunk Cloud Tech Talk, you'll see how to ...