Elasticsearch 核心概念与 Java 客户端实战

2.2 索引与分片

// 索引创建示例
@Configuration
public class IndexConfig {
    public void createProductIndex(RestHighLevelClient client) throws IOException {
        CreateIndexRequest request = new CreateIndexRequest("products");
        request.settings(Settings.builder()
            .put("index.number_of_shards", 3)
            .put("index.number_of_replicas", 1)
            .put("index.refresh_interval", "1s"));
        // Mapping 定义...
    }
}

分片设计原则：

1. 单个分片不超过 50GB
2. 分片数 = 数据总量 / 50GB
3. 副本数 = 节点数 - 1（至少 1 个）
4. 避免过度分片（每个分片有开销）

3. Java 客户端实战

3.1 客户端选型对比

我们的选择：新项目用 RestHighLevelClient，Spring Boot 项目用 Spring Data Elasticsearch。

3.2 RestHighLevelClient 配置

@Configuration
public class ElasticsearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient() {
        // 解析主机列表
        String[] hostArray = hosts.split(",");
        HttpHost[] httpHosts = new HttpHost[hostArray.length];
        for (int i = 0; i < hostArray.length; i++) {
            String[] hostPort = hostArray[i].split(":");
            httpHosts[i] = new HttpHost(hostPort[0].trim(), Integer.parseInt(hostPort[1].trim()), "http");
        }
        RestClientBuilder builder = RestClient.builder(httpHosts)
            .setRequestConfigCallback(requestConfigBuilder -> requestConfigBuilder
                .setConnectTimeout(5000)
                .setSocketTimeout(60000))
            .setHttpClientConfigCallback(httpClientBuilder -> {
                httpClientBuilder.setMaxConnTotal(100);
                return httpClientBuilder;
            });
        return new RestHighLevelClient(builder);
    }
}

3.3 Spring Data Elasticsearch 配置

@Configuration
@EnableElasticsearchRepositories(basePackages = "com.example.repository")
public class SpringDataESConfig {
    @Document(indexName = "products")
    @Data
    public class Product {
        @Id private String id;
        @Field(type = FieldType.Text, analyzer = "ik_max_word") private String name;
        @Field(type = FieldType.Double) private Double price;
    }
}

4. 索引设计最佳实践

4.1 索引生命周期管理

@Component
public class IndexLifecycleManager {
    public void rolloverIndex() throws IOException {
        // 按时间滚动索引策略
        // 检查当前索引大小，超过阈值创建新索引并切换别名
    }
}

4.2 映射设计技巧

{
  "mappings": {
    "properties": {
      "id": { "type": "keyword" },
      "title": { "type": "text", "analyzer": "ik_max_word" },
      "price": { "type": "scaled_float" },
      "location": { "type": "geo_point" }
    }
  }
}

5. 查询优化实战

5.1 查询类型对比

@Service
public class ProductSearchService {
    public SearchResponse searchByMatch(String keyword) throws IOException {
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder.query(QueryBuilders.matchQuery("name", keyword).analyzer("ik_smart"));
        return client.search(new SearchRequest("products").source(sourceBuilder), RequestOptions.DEFAULT);
    }
}

5.2 性能优化技巧

• 分页优化：使用 Search After 替代深度分页
• 查询重写：避免 wildcard，使用 ngram 或 prefix
• 过滤器缓存：经常过滤的条件用 filter
• 字段数据加载：避免在 text 字段上排序，使用 keyword 子字段

6. 批量操作与实时性

6.1 Bulk 批量操作

public void bulkIndexProducts(List<Product> products) throws IOException {
    BulkRequest request = new BulkRequest();
    for (Product product : products) {
        request.add(new IndexRequest("products").id(product.getId()).source(JsonUtils.toJson(product)));
    }
    client.bulk(request, RequestOptions.DEFAULT);
}

6.2 实时性控制

• 立即刷新：WriteRequest.RefreshPolicy.IMMEDIATE
• 等待刷新：WriteRequest.RefreshPolicy.WAIT_UNTIL
• 手动刷新：调用 indices().refresh()

7. 企业级实战案例

7.1 电商商品搜索系统

结合 Bool 查询、高亮显示、聚合分析构建完整搜索流程。

7.2 日志分析系统

基于时间范围查询、错误统计、慢查询分析的日志处理方案。

8. 性能优化与监控

8.1 性能调优

• JVM 调优：堆内存不超过 32GB，使用 G1GC
• 索引设置：调整 refresh_interval，translog 配置
• 查询调优：启用查询缓存，限制返回字段

8.2 监控告警

使用 Prometheus 采集 ES 指标，配置集群健康、CPU、内存、磁盘告警规则。

9. 故障排查指南

• 搜索慢：启用 profile 分析耗时
• 写入慢：检查 refresh 间隔和 translog
• 内存高：检查 JVM 堆和 fielddata
• 分片未分配：检查磁盘空间和节点状态

10. 选型与总结

10.1 ES vs 其他方案对比

10.2 我的"ES 军规"

1. 分片设计要合理：单个分片不超过 50GB
2. 映射设计要严谨：禁用动态映射
3. 查询要优化：避免 wildcard，善用 filter
4. 监控要全面：集群健康、性能指标

最后的话

Elasticsearch 是强大的搜索引擎，但不是银弹。理解原理，合理设计，持续监控，才能用好这个强大的工具。

推荐阅读

• Elasticsearch 官方文档
• Java 客户端文档
• Prometheus 监控