Splunk Search

CSVで取り込んだデータのの一部が欠損する

jacomharada
Explorer

パケットキャプチャデータをCSVに変換した後Splunkにコマンドラインにてoneshotでデータを入力するとデータが欠損したようになります。
取り込んだデータ配下のようになっており、★が付いている箇所について取り込むとデータがサーチを書いても表示ができずデータが欠損したような形になります。

time,frame.protocols,ip.version,ip.src,ipv6.src,ip.dst,ipv6.dst,ip.ttl,ipv6.hlim,ip.dsfield.dscp,pv6.traffic.class.dscp,udp.srcport,tcp.port,udp.dstport,tcp.dstport,udp.checksum,tcp.checksum,icmp.checksum,icmpv6.checksum,pim.cksum,eth.src,eth.dst,frame.len,frame.number,Information
1471588655.220078000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x137c,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,1,
1471588655.221088000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,2,★
1471588655.221670000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,3,★
1471588655.319227000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x7995,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,4,
1471588655.319998000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,5,★
1471588655.320761000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,6,★
・・・

CSVのファイルで前半部分は上記のような欠損の状態になりますが、後半部分についてはすべてのイベントが見える形になります。

SplunkのversionはSplunk 6.3.2 (build aaff59bb082c)です。

回答の程よろしくお願い致します。

0 Karma
1 Solution

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

View solution in original post

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

jkat54
SplunkTrust
SplunkTrust

あなたは何props.conf設定を持っていますか?

0 Karma

jacomharada
Explorer

回答有り難うございます。

props.confは以下のようになっております。
デフォルトのCSVのprops.confから名前を変えただけだと記憶しております。
ソースタイプなどの名前は変えてあります。

[hogehoge]
DATETIME_CONFIG =
INDEXED_EXTRACTIONS = csv
KV_MODE = none
NO_BINARY_CHECK = true
SHOULD_LINEMERGE = false
category = Structured
description = hoge hoge
disabled = false

よろしくお願いいたします。

0 Karma

jkat54
SplunkTrust
SplunkTrust

私の方もお会いできてうれしいです。

あなたはそれがSplunkのために追加したときにどのようなデータから欠落していますか?

0 Karma
Get Updates on the Splunk Community!

Index This | What’s a riddle wrapped in an enigma?

September 2025 Edition Hayyy Splunk Education Enthusiasts and the Eternally Curious!  We’re back with this ...

BORE at .conf25

Boss Of Regular Expression (BORE) was an interactive session run again this year at .conf25 by the brilliant ...

OpenTelemetry for Legacy Apps? Yes, You Can!

This article is a follow-up to my previous article posted on the OpenTelemetry Blog, "Your Critical Legacy App ...