All Apps and Add-ons

sourcetype=access_combined など で、User-Agent をまとめるやり方が思いつきません

snicker_jp
Engager

sourcetype=access_combined を使って、

  • OS
  • ブラウザ

をバージョン違いを吸収して、表形式などでまとめることはできないでしょうか?

環境


試行

lookup を使ってみましたが、詳しく分からないので分類できませんでした。
Pivotも試してみたのですが、思ったデータが作れませんでした。

にあるサンプル

sourcetype=access_combined | lookup user_agents http_user_agent

でも、思い通りのデータが出てきません。
アドバイスをいただけないでしょうか。

0 Karma
1 Solution

melonman
Motivator

以下、ドキュメントページにあるtutorialdataを使って実施してみました。

  1. TA-user-agentsをインストール&再起動
  2. Tutorialdataを取り込み
  3. サーチを実施

私の環境だと、ユーザエージェントが、useragentという名前のフィールドでアクセスするようになっていますので、以下のように一旦、useragent毎に出現数を計算させたあとに、lookupを行いました。

index="tutorial" sourcetype=access_combined_wcookie 
| stats count by useragent 
| lookup user_agents http_user_agent as useragent OUTPUT ua_device ua_family ua_os_family

実行結果は以下のようになります。

useragent   count   ua_device   ua_family   ua_os_family
Googlebot/2.1 ( http://www.googlebot.com/bot.html)  495 Spider  Googlebot   unknown
Googlebot/2.1 (http://www.googlebot.com/bot.html)   439 Spider  Googlebot   unknown
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)  424 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) 489 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)  493 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E; MS-RTC LM 8; InfoPath.1) 460 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; InfoPath.1; .NET4.0C; .NET4.0E; MS-RTC LM 😎 615 unknown IE  Windows XP

これがご所望のものであれば、おそらく質問に書いてあるサーチ中のユーザエージェントが入っているフィールド名が正しいものになっているか、また、そのフィールド名をhttp_user_agentとしてlookupするようにlookupコマンドに入っているか再度確認いただいて実行していただければと思います。

Lookupの結果として出力させるフィールドはOUTPUT後の名前でしていできますが、指定しなければ、Lookupの設定でしていされているものが全部でてくるとおもいます。
参照→ $SPLUNK_HOME/etc/apps/TA-user-agents/default/transforms.conf

ロジックは、
$SPLUNK_HOME/etc/apps/TA-user-agents/bin/ua_parser/regexes.yaml
あたりを参照いただくと正規表現がかかれているので詳細がつかめると思います。

いかがでしょうか。

View solution in original post

0 Karma

melonman
Motivator

以下、ドキュメントページにあるtutorialdataを使って実施してみました。

  1. TA-user-agentsをインストール&再起動
  2. Tutorialdataを取り込み
  3. サーチを実施

私の環境だと、ユーザエージェントが、useragentという名前のフィールドでアクセスするようになっていますので、以下のように一旦、useragent毎に出現数を計算させたあとに、lookupを行いました。

index="tutorial" sourcetype=access_combined_wcookie 
| stats count by useragent 
| lookup user_agents http_user_agent as useragent OUTPUT ua_device ua_family ua_os_family

実行結果は以下のようになります。

useragent   count   ua_device   ua_family   ua_os_family
Googlebot/2.1 ( http://www.googlebot.com/bot.html)  495 Spider  Googlebot   unknown
Googlebot/2.1 (http://www.googlebot.com/bot.html)   439 Spider  Googlebot   unknown
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)  424 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) 489 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)  493 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E; MS-RTC LM 8; InfoPath.1) 460 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; InfoPath.1; .NET4.0C; .NET4.0E; MS-RTC LM 😎 615 unknown IE  Windows XP

これがご所望のものであれば、おそらく質問に書いてあるサーチ中のユーザエージェントが入っているフィールド名が正しいものになっているか、また、そのフィールド名をhttp_user_agentとしてlookupするようにlookupコマンドに入っているか再度確認いただいて実行していただければと思います。

Lookupの結果として出力させるフィールドはOUTPUT後の名前でしていできますが、指定しなければ、Lookupの設定でしていされているものが全部でてくるとおもいます。
参照→ $SPLUNK_HOME/etc/apps/TA-user-agents/default/transforms.conf

ロジックは、
$SPLUNK_HOME/etc/apps/TA-user-agents/bin/ua_parser/regexes.yaml
あたりを参照いただくと正規表現がかかれているので詳細がつかめると思います。

いかがでしょうか。

0 Karma

snicker_jp
Engager

素早い回答、
また、めちゃくちゃ詳しい内容 ありがとうございます!

試してみます。

出ました!!!
これですー!
ありがとうございます。

0 Karma
Get Updates on the Splunk Community!

Improve Your Security Posture

Watch NowImprove Your Security PostureCustomers are at the center of everything we do at Splunk and security ...

Maximize the Value from Microsoft Defender with Splunk

 Watch NowJoin Splunk and Sens Consulting for this Security Edition Tech TalkWho should attend:  Security ...

This Week's Community Digest - Splunk Community Happenings [6.27.22]

Get the latest news and updates from the Splunk Community here! News From Splunk Answers ✍️ Splunk Answers is ...