Getting Data In

データの中身からタイムスタンプを生成する方法

Masahito
Engager

SplunkForwarderを使って特定のフォルダ上に生成されるテキストファイルをSplunkに転送しています。
そのテキストファイルの中身が以下のようになっています。

No. : 3990Time: 1960936063Type: sysenterSNo.: a0 (NtQueryKey)Cid : 62c.640Name: explorer.exeNote: key_handle: \REGISTRY\USER\S-1-5-21-1993962763-1844823847-839522115-1003_CLASSES

No. : 3991Time: 1960936195Type: sysexitRet : 0 (STATUS_SUCCESS)SNo.: a0 (NtQueryKey)Cid : 62c.640Name: explorer.exeNote: key_handle: \REGISTRY\USER\S-1-5-21-1993962763-1844823847-839522115-1003_CLASSES

No. : 3992Time: 1960936237Type: sysenterSNo.: 77 (NtOpenKey)Cid : 62c.640Name: explorer.exeNote: root_directory: \REGISTRY\USER\S-1-5-21-1993962763-1844823847-839522115-1003_CLASSES object_name: CLSID{21B22460-3AEA-1069-A2DC-08002B30309D}

このデータは単一のテキストにまとめて書き込まれて生成されるため、時間がすべて同一になってしまいます。
そうではなくデータの中の「Time: 1960936237」をタイムスタンプとして認識させて時系列順に表示される方法はありませんでしょうか?

http://answers.splunk.com/answers/83721/%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%92%E5%90%AB%E3%82%80%E3%82...
上記の質問が参考になりそうですが、Fowarderで送られたデータをデータのプレビューで表示を指定することは可能なのでしょうか?

よろしくお願いします。

0 Karma
1 Solution

HiroshiSatoh
Champion

エポックタイムがおかしいみたいで、正しければ自動認識でも行けそうですよ。
1960936063->2032年2月21日 09:27:43
↑これだと「Failed to parse timestamp:」と怒られます。

サンプルデータをコピペしてエポックタイムだけ修正したファイルをSplunkに食わせてみた結果です。
デフォルト設定のままでタイムスタンプを認識してます。

<イメージ>
alt text

View solution in original post

0 Karma

Masahito
Engager

ありがとうございます。エポックタイムの先頭2文字を13にしたところ、認識しました。
いろいろエポックタイムを修正して気が付いたのですがエポックタイムが大幅にずれていると認識してくれないようです。先頭2文字を11にし、2006年ごろにしたところ認識しませんでした。
スクリプトで時間を修正して対応しようと思います。
アドバイスありがとうございました。

0 Karma

Splunk_Shinobi
Splunk Employee
Splunk Employee

Timestampの設定に関しては、ドキュメントでは説明されていないものが非常におおくあるので、以下の設定ファイルの仕様を見ていただいたほうがいいかもしれませんね。

/opt/splunk/etc/system/README/props.conf.spec

MAX_DAYS_AGO =
* Specifies the maximum number of days past, from the current date, that an extracted date
can be valid.
* For example, if MAX_DAYS_AGO = 10, Splunk ignores dates that are older than 10 days ago.
* Defaults to 2000 (days), maximum 10951.
* IMPORTANT: If your data is older than 2000 days, increase this setting.

0 Karma

HiroshiSatoh
Champion

エポックタイムがおかしいみたいで、正しければ自動認識でも行けそうですよ。
1960936063->2032年2月21日 09:27:43
↑これだと「Failed to parse timestamp:」と怒られます。

サンプルデータをコピペしてエポックタイムだけ修正したファイルをSplunkに食わせてみた結果です。
デフォルト設定のままでタイムスタンプを認識してます。

<イメージ>
alt text

0 Karma

HiroshiSatoh
Champion

インデックスを作る都合上制限(チェック?)があるんだと思います。そのうち調べます。

0 Karma

Masahito
Engager

一旦、Indexer側にファイルを転送してデータのプレビューを行っています
>エポックタイムがおかしいみたいで、正しければ自動認識でも行けそうですよ。
>1960936063->2032年2月21日 09:27:43
タイムスタンプを自動検出 (デフォルト)でしょうか?これだと上手くいかないのですが…。詳細について詳しく説明してもらえませんか?

0 Karma

cwl
Contributor

Forwarderで送られてくるデータはデータのプレビュー機能で表示できないので、一旦ファイルをIndexer上に置く必要があります。

Get Updates on the Splunk Community!

Enterprise Security Content Update (ESCU) | New Releases

In December, the Splunk Threat Research Team had 1 release of new security content via the Enterprise Security ...

Why am I not seeing the finding in Splunk Enterprise Security Analyst Queue?

(This is the first of a series of 2 blogs). Splunk Enterprise Security is a fantastic tool that offers robust ...

Index This | What are the 12 Days of Splunk-mas?

December 2024 Edition Hayyy Splunk Education Enthusiasts and the Eternally Curious!  We’re back with another ...