Monitoring Splunk

CSVファイルのデータが一部文字化けして欠損する

JA8eginner
Explorer

お世話になります。

CSVファイルをモニタリングしているのですが、
時々文字化けが発生し数行のデータが取り込まれない事象が発生しています。

CSVファイルはVBAからUTF-8で出力していて、Splunk側の設定でもCHARASETはUTF-8を指定しています。
VBAで出力したCSVファイルをサクラエディタで開くと「UTF-8」と表示されております。

試しにShift-jisで出力するようVBAを変更し、Splunk側の設定もShift-jisに変更してみたのですが、
一部のデータで文字化けが発生し数行のデータが欠落した状態でインデックスにデータが取り込まれます。

同じような事象を経験された方や、対応策などあればご教示いただけますと幸いです。

※事象イメージは下記の通りです。

[読込データ]
1,2021/06/09,いいえ,要
2,2021/06/09,いいえ,要
3,2021/06/09,いいえ,要
4,2021/06/09,いいえ,要

[インデックスの結果]
1,2021/06/09,完了,いいえ,要
2,2021/06/09/xB8了,4,2021/06/09,いいえ,要

 

Labels (1)
0 Karma
1 Solution

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

View solution in original post

0 Karma

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

View solution in original post

0 Karma

JA8eginner
Explorer

@alemarzu 

Thank you for your reply.

After your reply, I checked props.conf and found that CHARASET is not listed in the conf.
On SplunkWeb, though, CHARASET was listed as UTF-8 on the configuration screen.
So I rewrote the conf file directly and restarted Splunk and all the data is now imported correctly.

I really appreciate your help.

0 Karma