お世話になります。
CSVファイルをモニタリングするよう設定しているのですが、ファイルを更新してもインデックスにデータが取り込まれない場合があり、何か対応策等あればご教示お願い致します。
構成としてはデータモニタリングでCSVファイルを指定しており、
追加データが発生した際は同じ名前のCSVファイルを置き換えている(上書きしている)状態です。
何度かCSV更新を行うと、あるタイミング以降インデックスにデータが取り込まれなくなります。
タイミングはまちまちでSplunk再起動後、1回しか取り込まれない場合もあれば2,3回取り込んだ後に取り込まれなくなる場合もあります。
CSVファイルの差分判定がうまくできていないかもしれないと思い設定ファイルに設定を追加してみましたが、状況が改善しておりません。
(ヘッダは200Byte程で、データの1行目の1列目のIDが前回ファイルと異なっていても取り込まれません)
何かほかに試してみることがあれば何でもよいのでご教示いただけますと幸いです。
Note:SplunkサーバーはAWS上で動かしておりCSVファイルはEBSに格納されています。
[ inputs.conf ]
[monitor:///tmp/upload/targetFolder]
disabled = false
host_regex = \\(.*)\/
index = targetData
sourcetype = targetData
crcSalt = <SOURCE>
initCrcLength = 512
[ props.conf ]
CHARSET = UTF-8
BREAK_ONLY_BEFORE_DATE =
DATETIME_CONFIG =
HEADER_FIELD_LINE_NUMBER = 1
INDEXED_EXTRACTIONS = csv
KV_MODE = none
LINE_BREAKER = ([\r\n]+)
NO_BINARY_CHECK = true
SHOULD_LINEMERGE = false
TIMESTAMP_FIELDS = SpecifiedColumn
TIME_FORMAT = %Y/%m/%d
category = Structureds
description = Something
disabled = false
pulldown_type = true
不思議な現象ですね。
https://wiki.splunk.com/Community:Troubleshooting_Monitor_Inputs
で、デバッグログを吐かせて、なにが問題なのか、見てみたほうがよいですね。