Getting Data In

ログの生成時間範囲について

appleman
Contributor

下記ログの生成時間設定について質問があります。

現在DB Connectを通してtailでデータをSplunkに取り込んでいるログがあります。
rising columnとしてupdate_dateを設定しており、こちらは10秒間に1回更新されます。
これが更新されるたびにデータ自体は上書きされてしまいます。
そうすると、splunkにデータが転送される前に情報がかき変わってしまうのではないかと思われるのですが、
これを回避する為には、ログの生成時点での間隔をどれぐらいに設定すればいいのでしょうか。

こちらで確認したことは、5秒間の間にpendingとsuccessが元のログ上で出ているのにも関わらず、splunkのログではsuccessしか出ていませんでした。
このようなデータの欠損を避けるにはどうしたらよいでしょうか。

0 Karma
1 Solution

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

View solution in original post

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

appleman
Contributor

了解致しました。ご回答ありがとうございました。

0 Karma
Get Updates on the Splunk Community!

Database Performance Sidebar Panel Now on APM Database Query Performance & Service ...

We’ve streamlined the troubleshooting experience for database-related service issues by adding a database ...

IM Landing Page Filter - Now Available

We’ve added the capability for you to filter across the summary details on the main Infrastructure Monitoring ...

Dynamic Links from Alerts to IM Navigators - New in Observability Cloud

Splunk continues to improve the troubleshooting experience in Observability Cloud with this latest enhancement ...