ELK 日志分析平台搭建与配置实战

# 修改 sysctl.conf
vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p

# 修改 limits.conf
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

2. 安装 Elasticsearch

创建普通用户 elk 启动，避免权限问题。

useradd elk
chown -R elk:elk /usr/local/elasticsearch-8.4.0/
su - elk
cd /usr/local/elasticsearch-8.4.0/config
vim elasticsearch.yml

配置文件关键项：

cluster.name: my-application
node.name: node-1
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
xpack.security.enabled: false
xpack.security.http.ssl:
  enabled: false

启动服务：

./bin/elasticsearch -d
netstat -antup | grep 9200
jps -m

测试访问：http://<IP>:9200/

3. 安装 Logstash

解压后建议建立软连接方便调用。

tar -zxvf logstash-8.4.0-linux-x86_64.tar.gz -C /usr/local/
ln -s /usr/local/logstash-8.4.0/bin/* /usr/local/bin/

管道配置示例 (logstash.conf)：

input {
  file {
    path => "/var/log/messages"
    start_position => "beginning"
  }
}
filter { }
output {
  elasticsearch {
    hosts => ["192.168.137.111:9200"]
    index => "var-messages-%{+yyyy.MM.dd}"
  }
  stdout { codec => rubydebug }
}

启动测试：

logstash -f /usr/local/logstash-8.4.0/config/logstash.conf

验证数据写入 ES：

curl -XGET http://192.168.137.111:9200/_cat/indices?v

4. 安装 Kibana

解压并修改配置指向 ES 地址。

tar -zxvf kibana-8.4.0-linux-x86_64.tar.gz -C /usr/local/
vim /usr/local/kibana-8.4.0/config/kibana.yml

配置项：

server.port: 5601
server.host: "192.168.137.111"
elasticsearch.hosts: ["http://192.168.137.111:9200"]
i18n.locale: "zh-CN"

启动：

/usr/local/kibana-8.4.0/bin/kibana --allow-root &

访问 http://<IP>:5601 即可看到中文界面。

进阶架构：Filebeat + Kafka

1. 部署 Filebeat

Filebeat 是轻量级日志采集器，适合部署在业务服务器上。

tar -zxvf filebeat-8.4.0-linux-x86_64.tar.gz -C /usr/local/
vim /usr/local/filebeat-8.4.0-linux-x86_64/filebeat.yml

采集配置：

filestream:
  enabled: true
  paths:
    - /var/log/httpd/*
output.logstash:
  hosts: ["192.168.137.111:5044"]
logging.level: warning

启动：

./filebeat -e -c filebeat.yml &

2. 部署 Kafka + Zookeeper

引入 Kafka 作为缓冲层，防止日志丢失。

Zookeeper 安装：

tar -zxf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local/
mkdir -p /data/zk/data /data/zk/datalog
vim zoo.cfg
# dataDir=/data/zk/data
dataLogDir=/data/zk/datalog
systemctl start zookeeper

Kafka 安装：

tar -zxvf kafka_2.13-3.2.1.tgz -C /usr/local/
vim config/server.properties
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/data/kafka/log
zookeeper.connect=localhost:2181
systemctl start kafka

3. 配置 Logstash 消费 Kafka

修改 Logstash 配置，从 Kafka 读取数据并写入 ES。

input {
  kafka {
    bootstrap_servers => "192.168.137.113:9092"
    client_id => "httpd_logs"
    group_id => "httpd_logs"
    topics => "httpd_logs"
    auto_offset_reset => "latest"
  }
}
output {
  elasticsearch {
    hosts => ["192.168.137.111:9200"]
    index => "httpd-logs-%{+YYYY.MM.dd}"
  }
}

重启 Logstash 后即可接收 Filebeat 发送的数据。通过 Kibana 设置过滤器（如 agent.hostname 或 log.file.path）即可查看特定主机的日志详情。

总结

本文梳理了 ELK Stack 的核心概念与三种主流架构，重点演示了基于 Filebeat 和 Kafka 的高可靠方案。实际生产中，注意根据数据量调整节点数量，合理配置 JVM 参数，并定期清理旧索引以节省存储空间。