All Apps and Add-ons
Highlighted

sourcetype=access_combined など で、User-Agent をまとめるやり方が思いつきません

Engager

sourcetype=access_combined を使って、

  • OS
  • ブラウザ

をバージョン違いを吸収して、表形式などでまとめることはできないでしょうか?

環境


試行

lookup を使ってみましたが、詳しく分からないので分類できませんでした。
Pivotも試してみたのですが、思ったデータが作れませんでした。

にあるサンプル

sourcetype=access_combined | lookup user_agents http_user_agent

でも、思い通りのデータが出てきません。
アドバイスをいただけないでしょうか。

0 Karma
Highlighted

Re: sourcetype=access_combined など で、User-Agent をまとめるやり方が思いつきません

Motivator

以下、ドキュメントページにあるtutorialdataを使って実施してみました。

  1. TA-user-agentsをインストール&再起動
  2. Tutorialdataを取り込み
  3. サーチを実施

私の環境だと、ユーザエージェントが、useragentという名前のフィールドでアクセスするようになっていますので、以下のように一旦、useragent毎に出現数を計算させたあとに、lookupを行いました。

index="tutorial" sourcetype=access_combined_wcookie 
| stats count by useragent 
| lookup user_agents http_user_agent as useragent OUTPUT ua_device ua_family ua_os_family

実行結果は以下のようになります。

useragent   count   ua_device   ua_family   ua_os_family
Googlebot/2.1 ( http://www.googlebot.com/bot.html)  495 Spider  Googlebot   unknown
Googlebot/2.1 (http://www.googlebot.com/bot.html)   439 Spider  Googlebot   unknown
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)  424 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) 489 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)  493 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E; MS-RTC LM 8; InfoPath.1) 460 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; InfoPath.1; .NET4.0C; .NET4.0E; MS-RTC LM 😎 615 unknown IE  Windows XP

これがご所望のものであれば、おそらく質問に書いてあるサーチ中のユーザエージェントが入っているフィールド名が正しいものになっているか、また、そのフィールド名をhttpuseragentとしてlookupするようにlookupコマンドに入っているか再度確認いただいて実行していただければと思います。

Lookupの結果として出力させるフィールドはOUTPUT後の名前でしていできますが、指定しなければ、Lookupの設定でしていされているものが全部でてくるとおもいます。
参照→ $SPLUNK_HOME/etc/apps/TA-user-agents/default/transforms.conf

ロジックは、
$SPLUNKHOME/etc/apps/TA-user-agents/bin/uaparser/regexes.yaml
あたりを参照いただくと正規表現がかかれているので詳細がつかめると思います。

いかがでしょうか。

View solution in original post

0 Karma
Highlighted

Re: sourcetype=access_combined など で、User-Agent をまとめるやり方が思いつきません

Engager

素早い回答、
また、めちゃくちゃ詳しい内容 ありがとうございます!

試してみます。

出ました!!!
これですー!
ありがとうございます。

0 Karma
Speak Up for Splunk Careers!

We want to better understand the impact Splunk experience and expertise has has on individuals' careers, and help highlight the growing demand for Splunk skills.