Deployment Architecture

インデクサークラスター環境においてインデックスが重複する

New Member

インデクサー2台でインデクサークラスター構成を組んでいます。Replication Factor:2 Search Factor:2 ※SmartStore利用
ピアノードの再起動後、イベントの重複が発生しております。(splunk_serverのみが異なるイベントが検索結果として2倍得られる)

2台のインデクサーのsplunk/var/lib/splunk/defaultdb/db配下を確認したところrb*のバケットが存在せず、
正常にレプリケーションが行われていないように思えます。他のインデックスも同様の状況となります。

db_XXXXXXXXXX_XXXXXXXXXX_XX_IDX1
db_XXXXXXXXXX_XXXXXXXXXX_XX_IDX2

インデクサークラスターのステータスも正常であり、特にErrorのログも見受けられません。
確認すべき設定、対処方法をご教示頂けないでしょうか。

0 Karma

Splunk Employee
Splunk Employee

>検索結果が重複する
Search Headのserver.confにCluster MasterのURIが設定されていない可能性があります。
ご確認いただき、設定されていない場合は下記の設定・参考URLをご参照ください。
(参考)https://docs.splunk.com/Documentation/Splunk/8.0.1/Indexer/Configuresearchheadwithserverconf

[clustering]
master_uri = https://xxx.xxx.xxx.xxx:8089
mode = searchhead
pass4SymmKey = whatever

>レプリケーションが行われていない
SmartStoreを利用している場合は、Index管理方法が従来と異なります。
Warmバケツの冗長化はリモートストア側が担うため、Warmバケツの複製(rb_*)はIndexer側では行われません。
レプリケーション処理は、Hotバケツに対して行われており、バケツステータスがWarmに遷移するとリモートストアにデータがコピーされ、以降はリモートストア側がマスターデータとして扱われます。

0 Karma

Splunk Employee
Splunk Employee

SmartStoreの説明についてはこちらもご参照ください。
https://docs.splunk.com/Documentation/Splunk/8.0.1/Indexer/SmartStorearchitecture

  • Buckets and SmartStore
  • Indexer clusters
0 Karma

New Member

回答ありがとうございます。現在も状況に改善がなく困っております。

>検索結果が重複する
Search Headのserver.confにはCluster MasterのURIを設定しています。
また、Cluster MasterからもSearch Headとして正常に認識をされております。
バケットのレプリケーションに問題がないとすると、その他観点として確認すべき項目はありませんでしょうか。なお、データ取り込み後、サーバの再起動を行っていない期間のデータに重複は見られず、再起動以前のデータのみ重複していることが確認されます。ただし、_auditにおいてはサーバ再起動以前のデータにも重複が見られません。

>レプリケーションが行われていない
SmartStoreを利用している場合のIndex管理方法についてご説明ありがとうございます。
内容について承知しました。

0 Karma

Splunk Employee
Splunk Employee

確認と情報連携ありがとうございます。下記2点について教えてください。
・利用されているSplunkバージョン
・事象発生前後(再起動)での、設定変更等の有無、および変更内容

0 Karma

New Member

ご連絡ありがとうございます。以下の通り回答します。

・利用されているSplunkバージョン
Version:7.3.0

・事象発生前後(再起動)での、設定変更等の有無、および変更内容
直近の再起動では特に設定の変更は行っておりません。気づいたことが最近ではありますが、事象は以前から発生していたと考えられ、過去には以下の変更を行っております。
Search Factor:2→1
Search Factor:1→2

※2台構成でのIndexer環境の文章が見つけられず、上記のようなClusterの設定変更は構築当初(2019/10)、数回変更を行っております。

0 Karma
Don’t Miss Global Splunk
User Groups Week!

Free LIVE events worldwide 2/8-2/12
Connect, learn, and collect rad prizes
and swag!