Getting Data In

取得ログの一部が欠落する

Satoru_Aoyagi
New Member

ライセンスの利用状況を集計するため、FlexLMのログファイルを取り込んでいるのですが、一部の行が取り込まれない状態で原因究明にご助力頂けたら幸いです。
ログ取得の意図としては下記記載のログ内容の"IN"、"OUT"行を行毎に1イベントで取得し、利用本数としてカウントすることを目的としています。
しかし、ログの記述内容の6~7割しか取り込まれておらず、一部の内容が欠落している状況です。
欠落する内容に完全な規則性は見受けられないのですが、ヘッダー部とIN OUTの記述部の境目で欠落が開始し、同じような箇所で再度取り込みが開始されるような印象があります。(ある箇所で欠落が開始して、ある箇所で取得が再開、これが繰り返される)
欠落の開始終了は必ず改行部で行われます。

同じ取得設定で他ライセンスのログは正常に取り込めているため、ログの記述内容による影響と考えているのですがご意見を頂けないでしょうか。

◆ログ取得方法
ライセンスサーバ(Linux)のログファイルをForwarder機(Windows)にSSHで定期転送し、転送されたログファイルをモニターしています。
inputs.confには下記の通り記述しており、props.confはデフォルトです。

[monitor://ローカルパス]
disabled = 0
index = インデックス
sourcetype = ソースタイプ
crcSalt = <SOURCE>

◆ソースタイプの取得設定
イベント改行:各行
タイムスタンプ:自動
詳細:CHARSET:UTF-8
   NO_BINARY_CHECK:true
   SHOULD_LINEMERGE:false
   category:カスタム
   disabled:false
   pulldown_type:true

===============================ログ内容===============================

15:47:36 (ライセンス名) (@ライセンス名-SLOG@) ===============================================
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) === Last 10 Client Requests Processing Time (in ms) ===
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) Time: Thu Apr 01 2021 15:47:36 JST
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) Request processing time, when, #concurrent clients, client info (user, node, FD)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:46:18(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:46:18(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:46:18(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:46:18(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:46:18(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:46:18(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:46:18(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:38:39(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 15:38:39(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000000 ms at 15:38:39(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) === Top 10 Peak Client Requests Processing Time (in ms) ===
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) Time: Thu Apr 01 2021 15:47:36 JST
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) Request processing time, when, #concurrent clients, client info (user, node, FD)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:47:39(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:47:43(4/1/2021),#4,(ユーザー名,ホスト名,19)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:47:43(4/1/2021),#4,(ユーザー名,ホスト名,19)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:48:30(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:48:53(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:50:05(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:50:49(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:50:51(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:51:09(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) 00000001 ms at 11:51:11(4/1/2021),#3,(ユーザー名,ホスト名,18)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) === Top 10 Peak In-house Operations time (in ms) ===
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) NOTE: Peak times greater than 4 seconds get recorded.
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) Time: Thu Apr 01 2021 15:47:36 JST
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) In-house operation time, when, #concurrent clients
15:47:36 (ライセンス名) (@ライセンス名-SLOG@)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) === Active Connections Info ===
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) Peak active connections #15 attempted at Thu Apr 01 2021 13:48:08 JST
15:47:36 (ライセンス名) (@ライセンス名-SLOG@)
15:47:36 (ライセンス名) (@ライセンス名-SLOG@) ===============================================
15:58:21 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名
15:58:39 (ライセンス名) IN: "フィーチャー名" ユーザー名@ホスト名
16:04:28 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名
16:04:32 (ライセンス名) IN: "フィーチャー名" ユーザー名@ホスト名
16:04:57 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名
16:06:36 (ライセンス名) IN: "フィーチャー名" ユーザー名@ホスト名
16:07:39 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名
16:10:05 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名
16:10:54 (ライセンス名) IN: "フィーチャー名" ユーザー名@ホスト名
16:11:37 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名
16:12:00 (ライセンス名) IN: "フィーチャー名" ユーザー名@ホスト名
16:18:23 (ライセンス名) IN: "フィーチャー名" ユーザー名@ホスト名
16:20:27 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名
16:20:27 (ライセンス名) IN: "フィーチャー名" ユーザー名@ホスト名
16:36:18 (ライセンス名) OUT: "フィーチャー名" ユーザー名@ホスト名

以降は同様の記述内容が続きます(ヘッダー部は一定時間毎に記述されます、IN,OUT部はライセンスが掴まれるたびに記述されます)

Labels (1)
Tags (1)
0 Karma
Get Updates on the Splunk Community!

Splunk Forwarders and Forced Time Based Load Balancing

Splunk customers use universal forwarders to collect and send data to Splunk. A universal forwarder can send ...

NEW! Log Views in Splunk Observability Dashboards Gives Context From a Single Page

Today, Splunk Observability releases log views, a new feature for users to add their logs data from Splunk Log ...

Last Chance to Submit Your Paper For BSides Splunk - Deadline is August 12th!

Hello everyone! Don't wait to submit - The deadline is August 12th! We have truly missed the community so ...