Getting Data In

ログの生成時間範囲について

appleman
Contributor

下記ログの生成時間設定について質問があります。

現在DB Connectを通してtailでデータをSplunkに取り込んでいるログがあります。
rising columnとしてupdate_dateを設定しており、こちらは10秒間に1回更新されます。
これが更新されるたびにデータ自体は上書きされてしまいます。
そうすると、splunkにデータが転送される前に情報がかき変わってしまうのではないかと思われるのですが、
これを回避する為には、ログの生成時点での間隔をどれぐらいに設定すればいいのでしょうか。

こちらで確認したことは、5秒間の間にpendingとsuccessが元のログ上で出ているのにも関わらず、splunkのログではsuccessしか出ていませんでした。
このようなデータの欠損を避けるにはどうしたらよいでしょうか。

0 Karma
1 Solution

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

View solution in original post

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

appleman
Contributor

了解致しました。ご回答ありがとうございました。

0 Karma
Get Updates on the Splunk Community!

Detecting Remote Code Executions With the Splunk Threat Research Team

WATCH NOWRemote code execution (RCE) vulnerabilities pose a significant risk to organizations. If exploited, ...

Enter the Splunk Community Dashboard Challenge for Your Chance to Win!

The Splunk Community Dashboard Challenge is underway! This is your chance to showcase your skills in creating ...

.conf24 | Session Scheduler is Live!!

.conf24 is happening June 11 - 14 in Las Vegas, and we are thrilled to announce that the conference catalog ...