Monitoring Splunk

CSVファイルのデータが一部文字化けして欠損する

JA8eginner
Explorer

お世話になります。

CSVファイルをモニタリングしているのですが、
時々文字化けが発生し数行のデータが取り込まれない事象が発生しています。

CSVファイルはVBAからUTF-8で出力していて、Splunk側の設定でもCHARASETはUTF-8を指定しています。
VBAで出力したCSVファイルをサクラエディタで開くと「UTF-8」と表示されております。

試しにShift-jisで出力するようVBAを変更し、Splunk側の設定もShift-jisに変更してみたのですが、
一部のデータで文字化けが発生し数行のデータが欠落した状態でインデックスにデータが取り込まれます。

同じような事象を経験された方や、対応策などあればご教示いただけますと幸いです。

※事象イメージは下記の通りです。

[読込データ]
1,2021/06/09,いいえ,要
2,2021/06/09,いいえ,要
3,2021/06/09,いいえ,要
4,2021/06/09,いいえ,要

[インデックスの結果]
1,2021/06/09,完了,いいえ,要
2,2021/06/09/xB8了,4,2021/06/09,いいえ,要

 

Labels (1)
0 Karma
1 Solution

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

View solution in original post

0 Karma

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

0 Karma

JA8eginner
Explorer

@alemarzu 

Thank you for your reply.

After your reply, I checked props.conf and found that CHARASET is not listed in the conf.
On SplunkWeb, though, CHARASET was listed as UTF-8 on the configuration screen.
So I rewrote the conf file directly and restarted Splunk and all the data is now imported correctly.

I really appreciate your help.

0 Karma
Get Updates on the Splunk Community!

Introducing the 2024 SplunkTrust!

Hello, Splunk Community! We are beyond thrilled to announce our newest group of SplunkTrust members!  The ...

Introducing the 2024 Splunk MVPs!

We are excited to announce the 2024 cohort of the Splunk MVP program. Splunk MVPs are passionate members of ...

Splunk Custom Visualizations App End of Life

The Splunk Custom Visualizations apps End of Life for SimpleXML will reach end of support on Dec 21, 2024, ...