topic Re: ディレクトリ監視で圧縮ファイルを認識しない。 in Splunk Search

ディレクトリ監視で圧縮ファイルを認識しない。

HiroshiSatoh — Wed, 29 May 2013 08:34:34 GMT

「データ入力 » ファイルとディレクトリ」でディレクトを監視して圧縮ファイル（ZIP）をディレクトリに追加したがSplunkに取り込まれません。いろいろファイルを追加してみたところ、元ファイルがUTF-8のファイルの場合は認識するが、S-JISの場合は認識しないようです。何か設定があるんでしょうか？

Re: ディレクトリ監視で圧縮ファイルを認識しない。

melonman — Wed, 29 May 2013 08:59:15 GMT

UTF8以外の文字コードのデータを読み込む際には、設定として文字コードの指定を行う必要があります。

http://docs.splunk.com/Documentation/Splunk/latest/Data/Configurecharactersetencoding

http://splunk-base.splunk.com/answers/66472/

＊圧縮されてしまっている場合には、事前に中身の文字コードをして、設定を入れて頂く必要があります。

Re: ディレクトリ監視で圧縮ファイルを認識しない。

HiroshiSatoh — Mon, 28 Sep 2020 14:00:35 GMT

回答ありがとうございます。props.confに設定を入れて試してみてますがうまく認識しません。文字コードの指定は何（ソース、ソースタイプ、ホスト等）に対して設定するんでしょうか？

以下はソースタイプで設定した内容です。
[MY_CSV_FILE2]
NO_BINARY_CHECK = 1
pulldown_type = 1
CHECK_FOR_HEADER = true
REPORT-AutoHeader = AutoHeader-my_type
CHARSET = SHIFT-JIS

（WINDOWS7環境で実施）

Re: ディレクトリ監視で圧縮ファイルを認識しない。

HiroshiSatoh — Tue, 04 Jun 2013 01:19:39 GMT

いつの間にかSHIFT-JISのファイルを取り込めるようになっていました。原因がはっきりわかったらアップします。

Re: ディレクトリ監視で圧縮ファイルを認識しない。

HiroshiSatoh — Mon, 28 Sep 2020 14:05:01 GMT

Splunkを再インストールしてきれいな状態で再度試してみましたが、やはりSJISのファイルは取り込めませんでした。
設定は以下です。地道に検証してみます。

<\Splunk\etc\apps\search\local\inputs.conf>

[monitor://C:\WORK\DIR01]

disabled = false

followTail = 0

sourcetype = SType_SJIS_TEXT

<\Splunk\etc\system\local\props.conf>

[SType_SJIS_TEXT]

NO_BINARY_CHECK = 1

pulldown_type = 1

CHARSET=SHIFT-JIS

Re: ディレクトリ監視で圧縮ファイルを認識しない。

HiroshiSatoh — Wed, 03 Jul 2013 06:05:37 GMT

WINDOWS7環境で圧縮されたSJISファイルを認識しなかった件は、「local」フォルダの権限に原因がありinputs.confが参照できない状態だったためでした。手動でフォルダを再作成してconfを配置したら認識するようになりました。カスタムコマンドを設定した際にSearch.logに「local」に配置したcommands.confの照会エラーがあったので気が付きました。SPLUNKのGUIで「local」フォルダが作成された場合にこのような状態になるようです。