sourcetype=access_combined など で、User-Agent をまとめるやり方が思いつきません

[snicker_jp]

sourcetype=access_combined を使って、

• OS
• ブラウザ

をバージョン違いを吸収して、表形式などでまとめることはできないでしょうか？

環境

• Splunk Enterprise 7.0.2
• TA-user-agents | Splunkbase https://splunkbase.splunk.com/app/1843/

---

試行

lookup を使ってみましたが、詳しく分からないので分類できませんでした。
Pivotも試してみたのですが、思ったデータが作れませんでした。

• TA-user-agents | Splunkbase https://splunkbase.splunk.com/app/1843/

にあるサンプル

sourcetype=access_combined | lookup user_agents http_user_agent

でも、思い通りのデータが出てきません。
アドバイスをいただけないでしょうか。

[melonman · Accepted solution]

以下、ドキュメントページにあるtutorialdataを使って実施してみました。

1. TA-user-agentsをインストール＆再起動
2. Tutorialdataを取り込み
3. サーチを実施

私の環境だと、ユーザエージェントが、useragentという名前のフィールドでアクセスするようになっていますので、以下のように一旦、useragent毎に出現数を計算させたあとに、lookupを行いました。

index="tutorial" sourcetype=access_combined_wcookie 
| stats count by useragent 
| lookup user_agents http_user_agent as useragent OUTPUT ua_device ua_family ua_os_family

実行結果は以下のようになります。

useragent   count   ua_device   ua_family   ua_os_family
Googlebot/2.1 ( http://www.googlebot.com/bot.html)  495 Spider  Googlebot   unknown
Googlebot/2.1 (http://www.googlebot.com/bot.html)   439 Spider  Googlebot   unknown
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)  424 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) 489 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)  493 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E; MS-RTC LM 8; InfoPath.1) 460 unknown IE  Windows XP
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; InfoPath.1; .NET4.0C; .NET4.0E; MS-RTC LM 😎 615 unknown IE  Windows XP

これがご所望のものであれば、おそらく質問に書いてあるサーチ中のユーザエージェントが入っているフィールド名が正しいものになっているか、また、そのフィールド名をhttp_user_agentとしてlookupするようにlookupコマンドに入っているか再度確認いただいて実行していただければと思います。

Lookupの結果として出力させるフィールドはOUTPUT後の名前でしていできますが、指定しなければ、Lookupの設定でしていされているものが全部でてくるとおもいます。
参照→　$SPLUNK_HOME/etc/apps/TA-user-agents/default/transforms.conf

ロジックは、
$SPLUNK_HOME/etc/apps/TA-user-agents/bin/ua_parser/regexes.yaml
あたりを参照いただくと正規表現がかかれているので詳細がつかめると思います。

いかがでしょうか。

[snicker_jp]

素早い回答、
また、めちゃくちゃ詳しい内容 ありがとうございます！

試してみます。

出ました！！！
これですー！
ありがとうございます。