Monitoring Splunk

CSVファイルのデータが一部文字化けして欠損する

JA8eginner
Explorer

お世話になります。

CSVファイルをモニタリングしているのですが、
時々文字化けが発生し数行のデータが取り込まれない事象が発生しています。

CSVファイルはVBAからUTF-8で出力していて、Splunk側の設定でもCHARASETはUTF-8を指定しています。
VBAで出力したCSVファイルをサクラエディタで開くと「UTF-8」と表示されております。

試しにShift-jisで出力するようVBAを変更し、Splunk側の設定もShift-jisに変更してみたのですが、
一部のデータで文字化けが発生し数行のデータが欠落した状態でインデックスにデータが取り込まれます。

同じような事象を経験された方や、対応策などあればご教示いただけますと幸いです。

※事象イメージは下記の通りです。

[読込データ]
1,2021/06/09,いいえ,要
2,2021/06/09,いいえ,要
3,2021/06/09,いいえ,要
4,2021/06/09,いいえ,要

[インデックスの結果]
1,2021/06/09,完了,いいえ,要
2,2021/06/09/xB8了,4,2021/06/09,いいえ,要

 

Labels (1)
0 Karma
1 Solution

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

View solution in original post

0 Karma

alemarzu
Motivator

@JA8eginner 

Be aware that the CHARSET option must be set on the UF/input level. 

Can you share your props.conf?

0 Karma

JA8eginner
Explorer

@alemarzu 

Thank you for your reply.

After your reply, I checked props.conf and found that CHARASET is not listed in the conf.
On SplunkWeb, though, CHARASET was listed as UTF-8 on the configuration screen.
So I rewrote the conf file directly and restarted Splunk and all the data is now imported correctly.

I really appreciate your help.

0 Karma
Get Updates on the Splunk Community!

Announcing Scheduled Export GA for Dashboard Studio

We're excited to announce the general availability of Scheduled Export for Dashboard Studio. Starting in ...

Extending Observability Content to Splunk Cloud

Watch Now!   In this Extending Observability Content to Splunk Cloud Tech Talk, you'll see how to leverage ...

More Control Over Your Monitoring Costs with Archived Metrics GA in US-AWS!

What if there was a way you could keep all the metrics data you need while saving on storage costs?This is now ...