Splunk Dev

CSV ファイルの日本語フィルド名認識できない。

dillencehsu
Path Finder

ある CSV ログファイルのフィルド名は日本語文字と英語文字で混ぜています。中身も同じです。

文字コード:SHIFT-JIS

Splunk のデフォルト sourcetype : csv を使ってから中身はちゃんと認識されていますが、フィルド名は問題があります。

 

その問題は、

raw data のフィールド名:Windows Update 実行時間(WSUS)

Splunk が認識したフィルド名:Windows Update___________WSUS

つまり、日本語の漢字や全角文字が認識できないの状態になっています。

 

しかし、その事情は Splunk Enterprise 8.0.x、8.1.1 しか発生していません。

7.3.x の環境で同じ CSV ファイルは全然問題ないです。(フィルド名、中身ちゃんと認識されています。)

 

バグを踏みましたか。

回答していただければ助かります。

お手数をおかけしますが、どうぞよろしくお願いいたします。

Labels (1)
Tags (1)
0 Karma

to4kawa
Ultra Champion

デフォルトのsourcetype=csvはINDEXED_EXTRACTIONS=csvなので日本語のヘッダーは読めないはずなのですが・・・

REPORTやTRANSFORMSを使用して、ヘッダーをtransforms.confで設定すると日本語のヘッダーは大丈夫です。

props.confの設定は確認できますか?

 

0 Karma

dillencehsu
Path Finder

回答ありがとうございます。


もちろん、 props.conf + transforms.conf で効きますが、

普段 CSV ファイルをインデクシングの時に、sourcetype=csv で文字コードを SHIFT-JIS を変換すると認識されています。(sourcetype=csv, charset=shift-jis)

ただ、Splunk Enterprise 8.0.7, 8.1.1 で同じ 7.3.x の使い方はフィルド名の日本語や全角の文字が認識されていません。

 

一回その CSV ファイルをテキストツールで UTF-8 に変更すると、Splunk 8 系以上のバージョンも日本語や全角文字のフィルド名が認識されていません。(sourcetype=csv, charset=utf-8)

 

どうぞよろしくお願いいたします。

0 Karma

to4kawa
Ultra Champion

フィールドについてですが

日本語フィールド=値 では検索は可能だとおもいますが、日本語フィールド::値 で検索できますか?

多分できないと思っています。サーチタイムエクストラクションだと思うんですよね、日本語フィールド。

日本語フィールド名はまだサポートしていないはずです。

0 Karma

dillencehsu
Path Finder

ご返答ありがとうございます。

日本語のフィルド名でサーチのためではなく、自動フィルド名の抽出のためです。
フィルド名正しく自動抽出されましたら、フィールドエイリアスで英語フィールド名に変更します。
もちろん、サーチの時にフィルドサーチではなく、キーワードサーチの場合が多いです。

利用の形は大体上記となります。

どうぞよろしくお願いいたします。

0 Karma

richgalloway
SplunkTrust
SplunkTrust

I recommend you contact Splunk Support for help with this.

これについては、Splunkサポートに問い合わせることをお勧めします。

---
If this reply helps you, Karma would be appreciated.
0 Karma

dillencehsu
Path Finder

Splunk Japan の方が見ればこれはバグかどうかすぐ分かるとおもっていました。

やはりサポートと問い合わせしかできないですよね。

 

了解です。

チケットを提出させていただきます。

0 Karma
Get Updates on the Splunk Community!

Index This | I am a number, but when you add ‘G’ to me, I go away. What number am I?

March 2024 Edition Hayyy Splunk Education Enthusiasts and the Eternally Curious!  We’re back with another ...

What’s New in Splunk App for PCI Compliance 5.3.1?

The Splunk App for PCI Compliance allows customers to extend the power of their existing Splunk solution with ...

Extending Observability Content to Splunk Cloud

Register to join us !   In this Extending Observability Content to Splunk Cloud Tech Talk, you'll see how to ...