Monitoring Splunk

CSVファイルのデータが一部文字化けして欠損する

JA8eginner
Explorer

お世話になります。

CSVファイルをモニタリングしているのですが、
時々文字化けが発生し数行のデータが取り込まれない事象が発生しています。

CSVファイルはVBAからUTF-8で出力していて、Splunk側の設定でもCHARASETはUTF-8を指定しています。
VBAで出力したCSVファイルをサクラエディタで開くと「UTF-8」と表示されております。

試しにShift-jisで出力するようVBAを変更し、Splunk側の設定もShift-jisに変更してみたのですが、
一部のデータで文字化けが発生し数行のデータが欠落した状態でインデックスにデータが取り込まれます。

同じような事象を経験された方や、対応策などあればご教示いただけますと幸いです。

※事象イメージは下記の通りです。

[読込データ]
1,2021/06/09,いいえ,要
2,2021/06/09,いいえ,要
3,2021/06/09,いいえ,要
4,2021/06/09,いいえ,要

[インデックスの結果]
1,2021/06/09,完了,いいえ,要
2,2021/06/09/xB8了,4,2021/06/09,いいえ,要

 

Labels (1)
0 Karma
1 Solution

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

View solution in original post

0 Karma

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

0 Karma

JA8eginner
Explorer

@alemarzu 

Thank you for your reply.

After your reply, I checked props.conf and found that CHARASET is not listed in the conf.
On SplunkWeb, though, CHARASET was listed as UTF-8 on the configuration screen.
So I rewrote the conf file directly and restarted Splunk and all the data is now imported correctly.

I really appreciate your help.

0 Karma
Get Updates on the Splunk Community!

.conf24 | Day 0

Hello Splunk Community! My name is Chris, and I'm based in Canberra, Australia's capital, and I travelled for ...

Enhance Security Visibility with Splunk Enterprise Security 7.1 through Threat ...

 (view in My Videos)Struggling with alert fatigue, lack of context, and prioritization around security ...

Troubleshooting the OpenTelemetry Collector

  In this tech talk, you’ll learn how to troubleshoot the OpenTelemetry collector - from checking the ...