topic Re: データの中身からタイムスタンプを生成する方法 in Getting Data In

データの中身からタイムスタンプを生成する方法

Masahito — Mon, 28 Sep 2020 14:41:13 GMT

SplunkForwarderを使って特定のフォルダ上に生成されるテキストファイルをSplunkに転送しています。
そのテキストファイルの中身が以下のようになっています。

No. : 3990Time: 1960936063Type: sysenterSNo.: a0 (NtQueryKey)Cid : 62c.640Name: explorer.exeNote: key_handle: \REGISTRY\USER\S-1-5-21-1993962763-1844823847-839522115-1003_CLASSES

No. : 3991Time: 1960936195Type: sysexitRet : 0 (STATUS_SUCCESS)SNo.: a0 (NtQueryKey)Cid : 62c.640Name: explorer.exeNote: key_handle: \REGISTRY\USER\S-1-5-21-1993962763-1844823847-839522115-1003_CLASSES

No. : 3992Time: 1960936237Type: sysenterSNo.: 77 (NtOpenKey)Cid : 62c.640Name: explorer.exeNote: root_directory: \REGISTRY\USER\S-1-5-21-1993962763-1844823847-839522115-1003_CLASSES object_name: CLSID{21B22460-3AEA-1069-A2DC-08002B30309D}

このデータは単一のテキストにまとめて書き込まれて生成されるため、時間がすべて同一になってしまいます。
そうではなくデータの中の「Time: 1960936237」をタイムスタンプとして認識させて時系列順に表示される方法はありませんでしょうか？

http://answers.splunk.com/answers/83721/%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%92%E5%90%AB%E3%82%80%E3%82%BF%E3%82%A4%E3%83%A0%E3%82%B9%E3%82%BF%E3%83%B3%E3%83%97%E3%81%AE%E8%A8%AD%E5%AE%9A%E6%96%B9%E6%B3%95
上記の質問が参考になりそうですが、Fowarderで送られたデータをデータのプレビューで表示を指定することは可能なのでしょうか？

よろしくお願いします。

Re: データの中身からタイムスタンプを生成する方法

cwl — Fri, 30 Aug 2013 03:10:00 GMT

Forwarderで送られてくるデータはデータのプレビュー機能で表示できないので、一旦ファイルをIndexer上に置く必要があります。

Re: データの中身からタイムスタンプを生成する方法

HiroshiSatoh — Fri, 30 Aug 2013 04:48:04 GMT

エポックタイムがおかしいみたいで、正しければ自動認識でも行けそうですよ。
1960936063->2032年2月21日 09:27:43
↑これだと「Failed to parse timestamp:」と怒られます。

サンプルデータをコピペしてエポックタイムだけ修正したファイルをSplunkに食わせてみた結果です。
デフォルト設定のままでタイムスタンプを認識してます。

＜イメージ＞

Re: データの中身からタイムスタンプを生成する方法

Masahito — Fri, 30 Aug 2013 05:27:16 GMT

一旦、Indexer側にファイルを転送してデータのプレビューを行っています
＞エポックタイムがおかしいみたいで、正しければ自動認識でも行けそうですよ。
＞1960936063->2032年2月21日 09:27:43
タイムスタンプを自動検出 (デフォルト)でしょうか？これだと上手くいかないのですが…。詳細について詳しく説明してもらえませんか？

Re: データの中身からタイムスタンプを生成する方法

Masahito — Fri, 30 Aug 2013 06:16:42 GMT

ありがとうございます。エポックタイムの先頭2文字を13にしたところ、認識しました。
いろいろエポックタイムを修正して気が付いたのですがエポックタイムが大幅にずれていると認識してくれないようです。先頭2文字を11にし、2006年ごろにしたところ認識しませんでした。
スクリプトで時間を修正して対応しようと思います。
アドバイスありがとうございました。

Re: データの中身からタイムスタンプを生成する方法

HiroshiSatoh — Fri, 30 Aug 2013 06:30:14 GMT

インデックスを作る都合上制限（チェック？）があるんだと思います。そのうち調べます。

Re: データの中身からタイムスタンプを生成する方法

Splunk_Shinobi — Mon, 28 Sep 2020 14:41:46 GMT

Timestampの設定に関しては、ドキュメントでは説明されていないものが非常におおくあるので、以下の設定ファイルの仕様を見ていただいたほうがいいかもしれませんね。

/opt/splunk/etc/system/README/props.conf.spec

MAX_DAYS_AGO =
* Specifies the maximum number of days past, from the current date, that an extracted date
can be valid.
* For example, if MAX_DAYS_AGO = 10, Splunk ignores dates that are older than 10 days ago.
* Defaults to 2000 (days), maximum 10951.
* IMPORTANT: If your data is older than 2000 days, increase this setting.