Getting Data In

ログの生成時間範囲について

appleman
Contributor

下記ログの生成時間設定について質問があります。

現在DB Connectを通してtailでデータをSplunkに取り込んでいるログがあります。
rising columnとしてupdate_dateを設定しており、こちらは10秒間に1回更新されます。
これが更新されるたびにデータ自体は上書きされてしまいます。
そうすると、splunkにデータが転送される前に情報がかき変わってしまうのではないかと思われるのですが、
これを回避する為には、ログの生成時点での間隔をどれぐらいに設定すればいいのでしょうか。

こちらで確認したことは、5秒間の間にpendingとsuccessが元のログ上で出ているのにも関わらず、splunkのログではsuccessしか出ていませんでした。
このようなデータの欠損を避けるにはどうしたらよいでしょうか。

0 Karma
1 Solution

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

View solution in original post

melonman
Motivator

データ欠損ではないと思いますが、DB上で該当箇所の情報にUpdateがかかるタイミングと、DB ConnectによってSelectしにいくタイミングによって、更新後のデータのみが取得されるのは、DB Connectの仕組み上十分考えられる状態です。
DB Connect側のSelect発行間隔を10秒から5秒にかえても、その5秒の間に、情報がPendingからSuccessなどに書き換わってしまった場合、DB Connectは、Selectを発行した時点の情報を取りに行くので、Successの情報のみが取得されます。

おそらくお使いのDBでは、ある瞬間の情報を保持するようになっているとおもいますが、確実に、システムでの変更の推移を取得するためには、DBの更新ではなく、システムから状態が変化するたびにlogなどに記録しておくこと等が必要になると思います。

appleman
Contributor

了解致しました。ご回答ありがとうございました。

0 Karma
Get Updates on the Splunk Community!

Data Management Digest – December 2025

Welcome to the December edition of Data Management Digest! As we continue our journey of data innovation, the ...

Index This | What is broken 80% of the time by February?

December 2025 Edition   Hayyy Splunk Education Enthusiasts and the Eternally Curious!    We’re back with this ...

Unlock Faster Time-to-Value on Edge and Ingest Processor with New SPL2 Pipeline ...

Hello Splunk Community,   We're thrilled to share an exciting update that will help you manage your data more ...