ある CSV ログファイルのフィルド名は日本語文字と英語文字で混ぜています。中身も同じです。
文字コード:SHIFT-JIS
Splunk のデフォルト sourcetype : csv を使ってから中身はちゃんと認識されていますが、フィルド名は問題があります。
その問題は、
raw data のフィールド名:Windows Update 実行時間(WSUS)
Splunk が認識したフィルド名:Windows Update___________WSUS
つまり、日本語の漢字や全角文字が認識できないの状態になっています。
しかし、その事情は Splunk Enterprise 8.0.x、8.1.1 しか発生していません。
7.3.x の環境で同じ CSV ファイルは全然問題ないです。(フィルド名、中身ちゃんと認識されています。)
バグを踏みましたか。
回答していただければ助かります。
お手数をおかけしますが、どうぞよろしくお願いいたします。
デフォルトのsourcetype=csvはINDEXED_EXTRACTIONS=csvなので日本語のヘッダーは読めないはずなのですが・・・
REPORTやTRANSFORMSを使用して、ヘッダーをtransforms.confで設定すると日本語のヘッダーは大丈夫です。
props.confの設定は確認できますか?
回答ありがとうございます。
もちろん、 props.conf + transforms.conf で効きますが、
普段 CSV ファイルをインデクシングの時に、sourcetype=csv で文字コードを SHIFT-JIS を変換すると認識されています。(sourcetype=csv, charset=shift-jis)
ただ、Splunk Enterprise 8.0.7, 8.1.1 で同じ 7.3.x の使い方はフィルド名の日本語や全角の文字が認識されていません。
一回その CSV ファイルをテキストツールで UTF-8 に変更すると、Splunk 8 系以上のバージョンも日本語や全角文字のフィルド名が認識されていません。(sourcetype=csv, charset=utf-8)
どうぞよろしくお願いいたします。
フィールドについてですが
日本語フィールド=値 では検索は可能だとおもいますが、日本語フィールド::値 で検索できますか?
多分できないと思っています。サーチタイムエクストラクションだと思うんですよね、日本語フィールド。
日本語フィールド名はまだサポートしていないはずです。
ご返答ありがとうございます。
日本語のフィルド名でサーチのためではなく、自動フィルド名の抽出のためです。
フィルド名正しく自動抽出されましたら、フィールドエイリアスで英語フィールド名に変更します。
もちろん、サーチの時にフィルドサーチではなく、キーワードサーチの場合が多いです。
利用の形は大体上記となります。
どうぞよろしくお願いいたします。
I recommend you contact Splunk Support for help with this.
これについては、Splunkサポートに問い合わせることをお勧めします。
Splunk Japan の方が見ればこれはバグかどうかすぐ分かるとおもっていました。
やはりサポートと問い合わせしかできないですよね。
了解です。
チケットを提出させていただきます。