日本語を含むデータ入力の設定方法を教えて下さい

[bananaman]

取り込みたいログデータがシフトJISなどの日本語エンコーディングとなっております。
この際、データ入力時にどのような設定をすれば良いですか？

[takashismi]

UTF-8かどうかの判定は、たとえば、頭OO文字で判断、といったルールがあるのでしょうか？

[melonman]

少し情報が古いですが、こちらが参考になるかと思います。

http://splunk-base.splunk.com/answers/6341/international-character-code-recognition

[bananaman · Accepted solution]

Splunkは基本UTF-8エンコーディングにてデータを収集しますが、ソースがUTF-8以外である場合は
ソースのエンコーディングを明示することにより、収集時にUTF-8へ変換し格納することが出来ます。

http://docs.splunk.com/Documentation/Splunk/5.0/data/Configurecharactersetencoding

UIによる設定方法は、データの追加＞データプレビュー時のAdvanced mode (props.conf) に
または、props.conf の該当スタンザへ直接以下のパラメータを追記します。

※シフトJISの場合
[TestData_SJIS]
CHARSET=SHIFT-JIS

※EUC-JPの場合
[TestData_EUC]
CHARSET=EUC-JP

その他のエンコーディングについては上記KBリンクを参照してみてください。