Splunk组件及架构详解

Splunk主要解决的问题：统一管理分布在不同机器上的数据（比如日志数据）。如下图所示：

Splunk是一个功能完备的企业级产品，提供了命令行窗口，web图形界面接口和其他接口，查询结果展示，数据查询，权限控制，分布式管理服务，数据索引，网络端口监听，数据警报，文件监听等等。

Forwarder

Splunk提供了Forwarder组件，它的作用是把不同机器上面的数据，比如log，转发给indexer。forwarder可以运行在不同的操作系统上面。

forwarder支持:

· 元数据标签（资源，资源类型和主机）

· 可以设置缓存

· 可以压缩数据

· 支持SSL安全协议传输数据

· 可以使用任何有效的网络端口。

Splunk提供了三种forwarder，分别是universal forwarder、heavy forwarder和light forwarder。universal forwarder相对于其他两种最重要的优点是：它能够极大地减少对主机硬件资源的占用。但是，它也做出了一定的牺牲，比如不支持查询和建立数据索引。它们具体的官方解释请见：universal forwarder、heavy、light

Indexer，顾名思义，它跟索引有关，实际上他不仅仅负责为数据建立索引，还负责响应查找索引数据的用户请求，还有读取数据和负责查找管理工作。虽然indexer可以在查找它本身的数据，但是，在多indexer的集群中，可以通过叫“search head”的组件来整合多个indexer，对外提供统一的查询管理和服务。如下图所示。search head的作用就是根据用户的查询请求查询各个indexers中的数据，融合indexers所返回的结果，统一显示给用户，它只负责查询，不负责建立索引。

从整体上来看Splunk架构，结合下面两张图片，总体上分为两个部分，分别是数据发送、数据收集并索引。原始数据一开始一般是由不同机器产生，通过不同的组件向indexer发送这些原始数据，这些组件有splunk forwarders、syslog、WMI等等，数据发给indexer之后，indexer就会为数据建立索引，建立索引的目的是加快查询速度。这样之后，用户就可以通过统一的窗口操作数据了，比如查询。

如果我们系统平台比较大，产生的数据量比较大，那么我们可以不断扩展我们的splunk集群，splunk具备这种扩展能力。用户可以部署任意多个forwarder，用来转发刚刚产生的原始数据。Indexer也可以部署成为一个集群，统一下层提供接收原始数据、建立索引的服务，对上层提供搜索的服务。用户还可以部署多台用于搜索的Search Header。所以，用户可以根据自己平台的实际工作量来部署自己的splunck集群大小。

data pipeline

数据管道显示了建立索引期间的进程。如下图所示，从上到下，数据从产生的源头到最后建立索引可以提供给用户搜索这整个过程中数据被处理的过程。

数据管道为：数据输入 - 数据分析 - 建立索引 - 用户查询

明天更新安装与配置

本文仅代表个人的观点，如果阐述的不好欢迎大家指导纠正，在此感激不尽。