Elasticsearch 与 Kibana 实战：安装部署及 C++ 客户端封装

对应配置文件修改

默认仅本机可访问；使用 Vim 编辑 /etc/elasticsearch/elasticsearch.yml 文件。

新增配置：

• network.host: 0.0.0.0
• http.port: 9200
• cluster.initial_master_nodes: ["node-1"]

3. ES 核心知识概念

1. 索引（Index–>库）

• 是什么：数据的逻辑容器（类似数据库）
• 例子：
  • logs-2024（存储 2024 年的日志数据）
  • products（存储商品信息）
  • users（存储用户数据）

2. 文档（Document）

• 是什么：索引中的一条具体数据（JSON 格式）

例子：

// 在 users 索引中的一条文档
{"name":"张三","age":25,"email":"[email protected]","join_date":"2024-01-15"}

3. 字段（Field）

• 是什么：文档中的单个数据项
• 例子（来自上面的文档）：
  • name 字段（值：'张三'）
  • age 字段（值：25）
  • email 字段（值：'[email protected]'）

4. 类型（Type–>类似表）（7.x 后已废弃）

• 旧版例子（6.x 及之前）：
  • 在 content 索引中可能有：
    • article 类型（存储文章）
    • comment 类型（存储评论）
• 新版（7.x+）：
  • 一个索引只能有一种类型（默认 _doc）
  • 例子：users 索引中所有文档都是 _doc 类型

5. 映射（Mapping）

• 是什么：定义字段的数据类型
• 如果你插入 {"price": 99.99}，ES 会自动推断 price 为 float 类型
• 如果你插入 {"status": "active"}，ES 会自动推断 status 为 text 类型

例子：

// 手动定义的映射示例
{"mappings":{"properties":{"name":{"type":"text"},// 文本类型
"age":{"type":"integer"},// 整数类型
"email":{"type":"keyword"},// 关键词类型（精确匹配）
"join_date":{"type":"date"}// 日期类型}}}

自动推断的例子：

提示：在 ES 7.x 及以上版本，创建索引时通常不需要指定类型（使用默认的 _doc 类型即可），但是专注于索引和字段映射的设计更重要。

4. Kibana 介绍

Kibana 是什么？

Kibana 是 Elasticsearch 的可视化工具，用 网页界面 展示和分析 ES 里的数据（比如日志、图表、仪表盘）。

Kibana 和 Elasticsearch 的关系

1. Kibana 必须连接 Elasticsearch 才能用（就像手机需要网络才能上网）。
2. Elasticsearch 负责 存数据、搜索数据（像数据库）。
3. Kibana 负责 把 ES 里的数据变成图表、仪表盘（让人更容易看懂）。

简单比喻：

• Elasticsearch = 仓库（存东西）
• Kibana = 展示柜（把仓库里的数据摆出来给人看）

常见用途：

• 看 日志（比如网站报错）
• 做 数据图表（比如访问量统计）
• 监控 服务器状态（比如 CPU 使用率）

访问方式：浏览器打开 http://你的服务器 IP:5601 即可使用（这是它的默认端口，可以根据配置文件进行修改）。

5. 安装 Kibana 过程

验证安装：使用以下命令检查 Kibana 服务的状态：

sudo systemctl status kibana 

设置开机自启（可选）：如果你希望 Kibana 在系统启动时自动启动，可以使用以下命令来启用自启动：

sudo systemctl enable kibana 

启动 Kibana 服务：安装完成后，启动 Kibana 服务：

sudo systemctl start kibana 

配置 Kibana（可选）：根据需要配置 Kibana。配置文件通常位于 /etc/kibana/kibana.yml。可能需要设置如服务器地址、端口、Elasticsearch URL 等：

sudo vim /etc/kibana/kibana.yml 

例如，你可能需要设置 Elasticsearch 服务的 URL，大概在 32 行左右：

elasticsearch.host:"http://localhost:9200"

安装 Kibana：使用 apt 命令安装 Kibana：

sudo apt install kibana 

• 这里对对应的 Kibana 的配置文件进行编辑：默认监听所有 ip 并部署在本地的 8999 端口，然后它收到的数据发送到 localhost 的 9200 端口（也就是 ES 服务器），接收到的答复再呈现可视化出来方便用户观看。
• 监听端口正监听，服务正常运行。
• 下面访问对应的 IP+Port 可以看到 Kibana 服务。

6. Kibana-ES 使用

下面操作下：

• 找到对应 Kibana 能与 ES 服务交互请求与答复的界面。

下面进行创建索引，增删查一下：

• 构建对应的信息索引类型与映射（可以理解成类似 MySQL 表里的字段但是一个索引只能有一个类型也就是表）。
• 成功插入对应数据。
• 进行全量查询。
• 按需查询。
• 成功删除整个索引（这里也可以选择对应插入数据时候的 ID 进行单个删除）。

7. ES-Client 使用及封装使用接口

ES 接口

1. search - 搜索文档

cpr::Response search(const std::string &indexName,// 索引名（如 "users"）
const std::string &docType,// 类型（ES 7.x+ 可忽略，传空字符串 ""）
const std::string &body,// 查询 DSL 的 JSON 字符串（如 {"query": {"match_all": {}}}）
const std::string &routing // 路由键（可选，默认空）);

作用：在指定索引中执行搜索查询（类似 SQL 的 SELECT）。
例子：

// 搜索 users 索引中所有文档
auto response = search("users", "", R"({"query": {"match_all": {}}})");

2. get - 获取单个文档

cpr::Response get(const std::string &indexName,// 索引名（如 "products"）
const std::string &docType,// 类型（ES 7.x+ 可忽略）
const std::string &id,// 文档 ID（如 "1"）
const std::string &routing // 路由键（可选）);

作用：根据 ID 获取索引中的特定文档（类似 SQL 的 SELECT * FROM table WHERE id=1）。
例子：

// 获取 products 索引中 ID 为 "100" 的文档
auto response = get("products", "", "100");

3. index - 创建/更新文档

cpr::Response index(const std::string &indexName,// 索引名（如 "orders"）
const std::string &docType,// 类型（ES 7.x+ 可忽略）
const std::string &id,// 文档 ID（如 "2"；若为空则 ES 自动生成）
const std::string &body,// 文档内容的 JSON 字符串（如 {"name": "Book"}）
const std::string &routing // 路由键（可选）);

作用：向索引中写入或更新一个文档（ID 存在则更新，不存在则创建）。
例子：

// 插入/更新 orders 索引中 ID 为 "5" 的文档
auto response = index("orders", "", "5", R"({"item": "Laptop", "price": 999})");

4. remove - 删除文档

cpr::Response remove(const std::string &indexName,// 索引名（如 "logs"）
const std::string &docType,// 类型（ES 7.x+ 可忽略）
const std::string &id,// 要删除的文档 ID（如 "3"）
const std::string &routing // 路由键（可选）);

作用：根据 ID 删除索引中的文档（类似 SQL 的 DELETE FROM table WHERE id=3）。
例子：

// 删除 logs 索引中 ID 为 "20240101" 的文档
auto response = remove("logs", "", "20240101");

类比 SQL 操作

这些接口是 Elasticsearch REST API 的 C++ 封装（通过 HTTP 请求库 cpr 实现，也就是说用到的除了 elasticsearch 库还有 cpr 库（C++ 仿照 Python 的 requests 库实现的））。

ES 客户端 API 二次封装

封装思想

• 为什么需要封装？
• 方便直接把对应固有的属性特征直接创建好，构建好对应 json 格式，为用户搞好对应单一添加接口方便操作（比如可以根据用户需要创建对应属性，根据用户需要插入对应数据集合，根据用户选择何种模式进行 search 完成 json 序列化与发送及获取应答等。）

封装了四种主要操作：索引创建、数据新增、数据查询、数据删除。

其实就是按照之前 Kibana 演示的发送的格式进行 json 对象构建，然后用户来调用添加最后进行统一序列化发送 + 应答接收等。

• 这里每次给这几个类传入的是 client 对象（构建好的）；而不是初始化的时候构建这样为了利用资源充分减少消耗。
• 创建索引发送请求 + 构建输入进行插入发送请求 + 分两种情况（分片与不分片）进行匹配查询发送请求 + 删除指定 ID 的数据进行发送请求的四个类。

封装源码

对应封装的代码：

1·封装功能接口可结合注释看详解：

2 封装接口格式依据对应文本请求：

测试效果

测试效果：

• 这里可以发现对应创建索引/增加数据/修改数据/按需查询数据/删除数据都是正常的（删除的话根据插入的数据 ID 进行删除即可）。

注意：

这里可能会先清空然后再进行新添加对应数据，也就是再新覆盖的时候如果进行查询可能会查到空也就是并发接收请求故可以等它更新完再进行查（采取休眠几秒等待更新完成再次查询）。

测试源码

测试代码：

#include"../../common/es_oper.hpp"
#include<gflags/gflags.h>
DEFINE_bool(run_mode,false,"程序的运行模式，false-调试； true-发布；");
DEFINE_string(log_file,"","发布模式下，用于指定日志的输出文件");
DEFINE_int32(log_level,0,"发布模式下，用于指定日志输出等级");
int main(int argc,char*argv[]){
 google::ParseCommandLineFlags(&argc,&argv,true);
 init_logger(FLAGS_run_mode, FLAGS_log_file, FLAGS_log_level);
 // 进行客户端构建：std::vector<std::string> host{"http://127.0.0.1:9200/"};
 auto client = std::make_shared<elasticlient::Client>(host);
 /////////这里不需要持久对象直接匿名对象向 es 服务端发送构建完成即可：
 // 索引创建
 // bool ret = EsIndex(client, "test_user").append("nickname").append("phone", "keyword", "standard", true).create();
 // if (ret == false)
 // {
 // LOG_INFO("索引创建失败!");
 // return -1;
 // }
 // else
 // {
 // LOG_INFO("索引创建成功!");
 // }
 
 // 数据的新增
 bool ret = EsInsertData(client,"test_user").append("nickname","张三").append("phone","15566667777").insert("00001");
 if(ret ==false){
 LOG_ERROR("数据插入失败!");
 return-1;
 }else{
 LOG_INFO("数据新增成功!");
 }
 
 // 数据的修改
 ret = EsInsertData(client,"test_user").append("nickname","张三").append("phone","13344445555").insert("00001");
 if(ret ==false){
 LOG_ERROR("数据更新失败!");
 return-1;
 }else{
 LOG_INFO("数据更新成功!");
 }
 
 // std::this_thread::sleep_for(std::chrono::seconds(3)); //这里可能会先清空然后再进行新添加对应数据，也就是再新覆盖的时候如果进行查询可能会查到空
 //也就是并发接收请求故可以等它更新完再进行查
 
 //条件数据查询：Json::Value user =EsSearch(client,"test_user").append_should_match("phone.keyword","13344445555")
 // .append_must_not_terms("nickname.keyword", {"张三"}).search();
 if(user.empty()|| user.isArray()==false){
 LOG_ERROR("结果为空，或者结果不是数组类型");
 return-1;
 }else{
 LOG_INFO("数据检索成功!");
 }
 int sz = user.size();
 LOG_DEBUG("检索结果条目数量：{}", sz);
 for(int i =0; i < sz; i++){
 LOG_INFO("nickname: {}", user[i]["_source"]["nickname"].asString());
 }
 
 //进行数据移除操作（id）
 // ret = EsRemoveData(client, "test_user").remove("00001");
 // if (ret == false)
 // {
 // LOG_ERROR("删除数据失败");
 // return -1;
 // }
 // else
 // {
 // LOG_INFO("数据删除成功!");
 // }
 return0;
}

本篇小结

本文以实操为导向，从 ES/Kibana 部署起步，解析其核心组件（索引、文档、映射等），并通过 C++ 封装示例，展示如何通过二次开发简化 ES 操作来为后续项目简化操作。