Getting Data In

Issue Getting Data In to Splunk Cloud

qcjacobo2577
Path Finder

We are in the midst of standing up our Splunk Cloud environment. Our architecture and data flows are as follows:

Syslog-NG (w/ Splunk UF Installed) > On-Premise Splunk Heavy Forwarder > Splunk Cloud

I am trying to make sure all of my configurations are sound for getting data from my Syslog Server into Splunk Cloud --- and it would appear that some things are incorrect.  

Right now, my configurations are such:

===Syslog-NG Configuration===
@version: 3.25
@include "scl.conf"
options {
chain_hostnames(no);
create_dirs (yes);
dir_perm(0755);
dns_cache(yes);
keep_hostname(yes);
log_fifo_size(2048);
log_msg_size(8192);
perm(0644);
time_reopen (10);
use_dns(yes);
};

source s_paloalto { tcp(port(5141) flags(no-parse,store-raw-message)); };
source s_locallogs { system(); internal(); };

destination d_paloalto { file("/var/log/splunkcloud/paloalto/\$HOST/\$YEAR-\$MONTH-\$DAY-palo.log"); };
destination d_locallogs { file("/var/log/splunkcloud/systemlogs/\$HOST/\$YEAR-\$MONTH-\$DAY-system.log"); };

log { source(s_paloalto); destination(d_paloalto); };
log { source(s_locallogs);destination(d_locallogs); };

=======================

===Syslog-NG Splunk UF Inputs.Conf===


[monitor:///var/log/splunklogs/paloalto]
disabled = 0
index=network
sourcetype=paloalto

[monitor:///var/log/splunklogs/systemlogs]
disabled = 0
index=syslogs
sourcetype=syslogs

=======================

===Syslog-NG Splunk UF Outputs.Conf===


[tcpout]
defaultGroup = syslogs_group, paloalto_group

[tcpout:syslogs_group]
server=x.x.x.x:5140

[tcpout:paloalto_group]
server=x.x.x.x:5141

=======================

===Splunk HF Inputs.Conf===


[tcp://:5140]
index=syslogs
sourcetype=syslogs

[tcp://:5141]
index=network
sourcetype=paloalto

=======================

With that, all I am getting in to Splunk Cloud are the following (or similar):
--splunk-cooked-mode-v3--\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00s-drsyslog-1\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x008089\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00@\x00\x00\x00\x00\x00\x00__s2s_capabilities\x00\x00\x00\x00ack=0;compression=0\x00\x00\x00\x00\x00\x00\x00\x00_raw\x00

I did manually create an index on our HF named "syslogs", but while I can query the index, did not seem to make any difference with respect to the data itself.

Labels (3)
0 Karma
1 Solution

codebuilder
Influencer

I notice that the Splunk logs you are monitoring are under /var/log/splunklogs/

By default, /var/log is owned by root so if you are running Splunk as a non-root user it won't have access to the splunklogs sub-directory or the log files within it.

----
An upvote would be appreciated and Accept Solution if it helps!

View solution in original post

mahithclt
Engager

HI @qcjacobo2577 

Have you checked ? running this as root!
Please give your feedback so that it will be very helpful for the persons who are trying to learn splunk. Thank you

0 Karma

qcjacobo2577
Path Finder

Indeed the files in question were permissioned to root.  Once I changed the permissions, everything worked as expected.  Thank you for your help!

codebuilder
Influencer

Glad to help! If this resolved your issue please mark it as the Solution as it will help others who come along later 🙂

----
An upvote would be appreciated and Accept Solution if it helps!

codebuilder
Influencer

I notice that the Splunk logs you are monitoring are under /var/log/splunklogs/

By default, /var/log is owned by root so if you are running Splunk as a non-root user it won't have access to the splunklogs sub-directory or the log files within it.

----
An upvote would be appreciated and Accept Solution if it helps!
Get Updates on the Splunk Community!

Thanks for the Memories! Splunk University, .conf24, and Community Connections

Thank you to everyone in the Splunk Community who joined us for .conf24 – starting with Splunk University and ...

.conf24 | Day 0

Hello Splunk Community! My name is Chris, and I'm based in Canberra, Australia's capital, and I travelled for ...

Enhance Security Visibility with Splunk Enterprise Security 7.1 through Threat ...

 (view in My Videos)Struggling with alert fatigue, lack of context, and prioritization around security ...