Issue Getting Data In to Splunk Cloud

[qcjacobo2577]

We are in the midst of standing up our Splunk Cloud environment. Our architecture and data flows are as follows:

Syslog-NG (w/ Splunk UF Installed) > On-Premise Splunk Heavy Forwarder > Splunk Cloud

I am trying to make sure all of my configurations are sound for getting data from my Syslog Server into Splunk Cloud --- and it would appear that some things are incorrect.  

Right now, my configurations are such:

===Syslog-NG Configuration===
@version: 3.25
@include "scl.conf"
options {
chain_hostnames(no);
create_dirs (yes);
dir_perm(0755);
dns_cache(yes);
keep_hostname(yes);
log_fifo_size(2048);
log_msg_size(8192);
perm(0644);
time_reopen (10);
use_dns(yes);
};

source s_paloalto { tcp(port(5141) flags(no-parse,store-raw-message)); };
source s_locallogs { system(); internal(); };

destination d_paloalto { file("/var/log/splunkcloud/paloalto/\$HOST/\$YEAR-\$MONTH-\$DAY-palo.log"); };
destination d_locallogs { file("/var/log/splunkcloud/systemlogs/\$HOST/\$YEAR-\$MONTH-\$DAY-system.log"); };

log { source(s_paloalto); destination(d_paloalto); };
log { source(s_locallogs);destination(d_locallogs); };

=======================

===Syslog-NG Splunk UF Inputs.Conf===

[monitor:///var/log/splunklogs/paloalto]
disabled = 0
index=network
sourcetype=paloalto

[monitor:///var/log/splunklogs/systemlogs]
disabled = 0
index=syslogs
sourcetype=syslogs

=======================

===Syslog-NG Splunk UF Outputs.Conf===

[tcpout]
defaultGroup = syslogs_group, paloalto_group

[tcpout:syslogs_group]
server=x.x.x.x:5140

[tcpout:paloalto_group]
server=x.x.x.x:5141

=======================

===Splunk HF Inputs.Conf===

[tcp://:5140]
index=syslogs
sourcetype=syslogs

[tcp://:5141]
index=network
sourcetype=paloalto

=======================

With that, all I am getting in to Splunk Cloud are the following (or similar):
--splunk-cooked-mode-v3--\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00s-drsyslog-1\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x008089\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00@\x00\x00\x00
\x00\x00\x00__s2s_capabilities\x00\x00\x00\x00ack=0;compression=0\x00\x00\x00\x00\x00\x00\x00\x00_raw\x00

I did manually create an index on our HF named "syslogs", but while I can query the index, did not seem to make any difference with respect to the data itself.

[mahithclt]

HI @qcjacobo2577 

Have you checked ? running this as root!
Please give your feedback so that it will be very helpful for the persons who are trying to learn splunk. Thank you

[qcjacobo2577]

Indeed the files in question were permissioned to root.  Once I changed the permissions, everything worked as expected.  Thank you for your help!

[codebuilder]

Glad to help! If this resolved your issue please mark it as the Solution as it will help others who come along later 🙂

[codebuilder · Accepted solution]

I notice that the Splunk logs you are monitoring are under /var/log/splunklogs/

By default, /var/log is owned by root so if you are running Splunk as a non-root user it won't have access to the splunklogs sub-directory or the log files within it.