Splunk Search

CSVで取り込んだデータのの一部が欠損する

jacomharada
Explorer

パケットキャプチャデータをCSVに変換した後Splunkにコマンドラインにてoneshotでデータを入力するとデータが欠損したようになります。
取り込んだデータ配下のようになっており、★が付いている箇所について取り込むとデータがサーチを書いても表示ができずデータが欠損したような形になります。

time,frame.protocols,ip.version,ip.src,ipv6.src,ip.dst,ipv6.dst,ip.ttl,ipv6.hlim,ip.dsfield.dscp,pv6.traffic.class.dscp,udp.srcport,tcp.port,udp.dstport,tcp.dstport,udp.checksum,tcp.checksum,icmp.checksum,icmpv6.checksum,pim.cksum,eth.src,eth.dst,frame.len,frame.number,Information
1471588655.220078000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x137c,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,1,
1471588655.221088000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,2,★
1471588655.221670000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x137c,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,3,★
1471588655.319227000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,64,,0x00,,63,,400,,0x7995,,,,,00:00:00:0b:42:1e,00:25:5c:d4:b6:cf,996,4,
1471588655.319998000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,63,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b6:da,00:25:5c:d4:b7:e5,996,5,★
1471588655.320761000,eth:ip:udp:data,4,20.20.20.1,,10.10.10.1,,62,,0x00,,63,,400,,0x7995,,,,,00:25:5c:d4:b8:26,00:00:00:0b:28:76,996,6,★
・・・

CSVのファイルで前半部分は上記のような欠損の状態になりますが、後半部分についてはすべてのイベントが見える形になります。

SplunkのversionはSplunk 6.3.2 (build aaff59bb082c)です。

回答の程よろしくお願い致します。

0 Karma
1 Solution

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

View solution in original post

jacomharada
Explorer

自己解決しました。
どうやらMACアドレスの一部が時刻と誤認識して別な時刻に登録されていたようです。
00:00:00:0b:28:76→00:00:00→0時0分0秒

Thanks!

jkat54
SplunkTrust
SplunkTrust

あなたは何props.conf設定を持っていますか?

0 Karma

jacomharada
Explorer

回答有り難うございます。

props.confは以下のようになっております。
デフォルトのCSVのprops.confから名前を変えただけだと記憶しております。
ソースタイプなどの名前は変えてあります。

[hogehoge]
DATETIME_CONFIG =
INDEXED_EXTRACTIONS = csv
KV_MODE = none
NO_BINARY_CHECK = true
SHOULD_LINEMERGE = false
category = Structured
description = hoge hoge
disabled = false

よろしくお願いいたします。

0 Karma

jkat54
SplunkTrust
SplunkTrust

私の方もお会いできてうれしいです。

あなたはそれがSplunkのために追加したときにどのようなデータから欠落していますか?

0 Karma
Get Updates on the Splunk Community!

.conf24 | Registration Open!

Hello, hello! I come bearing good news: Registration for .conf24 is now open!   conf is Splunk’s rad annual ...

ICYMI - Check out the latest releases of Splunk Edge Processor

Splunk is pleased to announce the latest enhancements to Splunk Edge Processor.  HEC Receiver authorization ...

Introducing the 2024 SplunkTrust!

Hello, Splunk Community! We are beyond thrilled to announce our newest group of SplunkTrust members!  The ...