Monitoring Splunk

CSVファイルのデータが一部文字化けして欠損する

JA8eginner
Explorer

お世話になります。

CSVファイルをモニタリングしているのですが、
時々文字化けが発生し数行のデータが取り込まれない事象が発生しています。

CSVファイルはVBAからUTF-8で出力していて、Splunk側の設定でもCHARASETはUTF-8を指定しています。
VBAで出力したCSVファイルをサクラエディタで開くと「UTF-8」と表示されております。

試しにShift-jisで出力するようVBAを変更し、Splunk側の設定もShift-jisに変更してみたのですが、
一部のデータで文字化けが発生し数行のデータが欠落した状態でインデックスにデータが取り込まれます。

同じような事象を経験された方や、対応策などあればご教示いただけますと幸いです。

※事象イメージは下記の通りです。

[読込データ]
1,2021/06/09,いいえ,要
2,2021/06/09,いいえ,要
3,2021/06/09,いいえ,要
4,2021/06/09,いいえ,要

[インデックスの結果]
1,2021/06/09,完了,いいえ,要
2,2021/06/09/xB8了,4,2021/06/09,いいえ,要

 

0 Karma
1 Solution

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

View solution in original post

0 Karma

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

0 Karma

JA8eginner
Explorer

@alemarzu 

Thank you for your reply.

After your reply, I checked props.conf and found that CHARASET is not listed in the conf.
On SplunkWeb, though, CHARASET was listed as UTF-8 on the configuration screen.
So I rewrote the conf file directly and restarted Splunk and all the data is now imported correctly.

I really appreciate your help.

0 Karma
Get Updates on the Splunk Community!

.conf25 Community Recap

Hello Splunkers, And just like that, .conf25 is in the books! What an incredible few days — full of learning, ...

Splunk App Developers | .conf25 Recap & What’s Next

If you stopped by the Builder Bar at .conf25 this year, thank you! The retro tech beer garden vibes were ...

Congratulations to the 2025-2026 SplunkTrust!

Hello, Splunk Community! We are beyond thrilled to announce our newest group of SplunkTrust members!  The ...