Splunk Search

CSVで取り込んだデータのの一部が欠損する

jacomharada
Explorer

パケットキャプチャデータをCSVに変換した後Splunkにコマンドラインにてoneshotでデータを入力するとデータが欠損したようになります。
取り込んだデータ配下のようになっており、★が付いている箇所について取り込むとデータがサーチを書いても表示ができずデータが欠損したような形になります。

time,frame.protocols,ip.version,ip.src,ipv6.src,ip.dst,ipv6.dst,ip.ttl,ipv6.hlim,ip.dsfield.dscp,pv6.traffic.class.dscp,udp.srcport,tcp.port,udp.dstport,tcp.dstport,udp.checksum,tcp.checksum,icmp.checksum,icmpv6.checksum,pim.cksum,eth.src,eth.dst,frame.len,frame.number,Information
1471588655.220078000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x137c,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,1,
1471588655.221088000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,2,★
1471588655.221670000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,3,★
1471588655.319227000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x7995,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,4,
1471588655.319998000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,5,★
1471588655.320761000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,6,★
・・・

CSVのファイルで前半部分は上記のような欠損の状態になりますが、後半部分についてはすべてのイベントが見える形になります。

SplunkのversionはSplunk 6.3.2 (build aaff59bb082c)です。

回答の程よろしくお願い致します。

0 Karma
1 Solution

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

View solution in original post

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

jkat54
SplunkTrust
SplunkTrust

あなたは何props.conf設定を持っていますか?

0 Karma

jacomharada
Explorer

回答有り難うございます。

props.confは以下のようになっております。
デフォルトのCSVのprops.confから名前を変えただけだと記憶しております。
ソースタイプなどの名前は変えてあります。

[hogehoge]
DATETIME_CONFIG =
INDEXED_EXTRACTIONS = csv
KV_MODE = none
NO_BINARY_CHECK = true
SHOULD_LINEMERGE = false
category = Structured
description = hoge hoge
disabled = false

よろしくお願いいたします。

0 Karma

jkat54
SplunkTrust
SplunkTrust

私の方もお会いできてうれしいです。

あなたはそれがSplunkのために追加したときにどのようなデータから欠落していますか?

0 Karma
Get Updates on the Splunk Community!

.conf25 Community Recap

Hello Splunkers, And just like that, .conf25 is in the books! What an incredible few days — full of learning, ...

Splunk App Developers | .conf25 Recap & What’s Next

If you stopped by the Builder Bar at .conf25 this year, thank you! The retro tech beer garden vibes were ...

Congratulations to the 2025-2026 SplunkTrust!

Hello, Splunk Community! We are beyond thrilled to announce our newest group of SplunkTrust members!  The ...