topic Re: search using join command in Splunk Search

search using join command

appleman — Mon, 28 Sep 2020 15:26:04 GMT

Hello,

I want to combine two different searches and each different field by using join command.
However, I always get "No Results" whatever I tried.
Please give me some advice.

Thank you.

joinコマンドを利用して二つのサーチを繋げ、それぞれにある違うフィールドを掛け合わせたいのですが、上手くいきません。
それぞれのデータ量が重いため、collect indexでインデックスを作成しながらやっても駄目でした。
joinコマンドの正しい使い方をご教授下さい。

common field => number

Re: search using join command

adityapavan18 — Mon, 28 Sep 2020 15:26:07 GMT

Hi appleman

I guess you need to mention the common field when using join something like this:

index=A sourcetype=logs
source!=XXX.csv id=1234 name=* | stats
count by id number | join number
[search index=tarot | table number
name main_type2] | stats count by id
name main_type2 number | sort - count
| head 20

Re: search using join command

appleman — Sun, 08 Dec 2013 11:39:51 GMT

I've tried this, but it turned out to be no result.

Re: search using join command

joebensimo — Sun, 08 Dec 2013 22:14:13 GMT

Do the main and subsearch both return the expected results when run separately?

Re: search using join command

HiroshiSatoh — Mon, 28 Sep 2020 15:26:33 GMT

こんにちは。サーチ文だけからみると以下のような動きですがこれは求めている動きですか？

メインサーチ：id（1234）、number、count
サブサーチ： number、name、main_type2
をnumberでJOINすると結果はnumberが一致するデータのみ（デフォルト）になります。
id（1234固定）、（一致した）number、count、（サブサーチの）name、（サブサーチの）main_type2

これをstats count by id name main_type2 number しているので
id（1234固定）、（サブサーチの）name、（サブサーチの）main_type2、（一致した）number
となり、結果はサブサーチの値のみで、メインサーチはサブサーチのデータからnumberが一致しないデータを除外するために使われているだけになります。

Re: search using join command

appleman — Mon, 09 Dec 2013 01:03:54 GMT

メインとサブサーチのnameは違うフィールドになります。従って結果として求めているものは、（メイン）nameに対するid、（サブ）name、main_type2、（一致した）numberになります。

Re: search using join command

HiroshiSatoh — Mon, 09 Dec 2013 01:22:41 GMT

JOINの場合同じフィールド名はサブサーチの値で上書きです。どちらかをリネームする必要があります。このサーチは | stats count by id number の部分でメインサーチ側のnameはなくなってます。

Re: search using join command

appleman — Mon, 09 Dec 2013 01:35:11 GMT

サブサーチの値で上書きされる旨、認識しておらず勉強になりました。ありがとうございます。ただこちらの事情により、実際のサーチとはフィールド名を変えてAnswersに掲載させて頂いているのですが、実際のサーチでは、nameのフィールドはそれぞれ別々のフィールド名が与えてあります。
idは値を指定しているので、固定になりますでしょうか。

Re: search using join command

HiroshiSatoh — Mon, 09 Dec 2013 01:53:05 GMT

サブサーチの結果にidが存在しないので、idはメインサーチで指定されたidでかつサブサーチとnumberが一致するものとなります。メインサーチの| stats count by id number の部分でメインサーチ側のnameはなくなっているので気をつけて下さい。

また、サブサーチを使うことでパフォーマンスがでないようなら、メインサーチで両方抽出してstatsでひとつにまとめるようなこともできると思います。

Re: search using join command

HiroshiSatoh — Mon, 28 Sep 2020 15:26:36 GMT

テストしてませんが、statsを使った例です。

Re: search using join command

melonman — Wed, 11 Dec 2013 04:17:03 GMT

if you are trying to have a reference from other source, try lookup.
create temporary lookup file by

... yoursearch | table fielda fieldb fieldc | outputlookup your_lookup.csv

then, do a search with the lookup command to lookup fields you need to put together.
* if your lookup file gets very big, then you can use lookup in DB using DB Connect.

Re: search using join command

appleman — Wed, 11 Dec 2013 05:13:22 GMT

Speaking of lookup, can I use dblookup even though the data is not in the DB? I mean, the data is exported from other DB which I can't put it in DB connect.

Re: search using join command

melonman — Wed, 11 Dec 2013 05:20:37 GMT

Well, there is no dblookup command. And for lookup data in DB by DB connect app, then you have to have the data in DB. If you can not connect your original DB where you exported the data from, then use the exported CSV as lookup (file based), or put the exported data into other database which is accessible by your splunk and configure DB connect to do lookup in database.

Re: search using join command

appleman — Wed, 11 Dec 2013 09:46:56 GMT

So basically, I need to put the data in DB which I can connect with DB connect.... Thank you very much!