OpenSearch 查询过滤与查询评分：合理使用 filter 与 query 提升性能

1. 理解OpenSearch中的查询基础

在OpenSearch(以及它的前身Elasticsearch)中，查询(Query)和过滤(Filter)是两种看似相似但实际上有本质区别的操作。很多开发者刚开始使用时容易混淆它们，但其实理解它们的差异对提升搜索性能至关重要。

简单来说，Query(查询)关注的是"文档与搜索条件的相关度"，而Filter(过滤)关注的是"文档是否匹配条件"。Query会计算每个匹配文档的_score(评分)，而Filter只是简单地判断是或否，不计算评分。

举个例子，当你在电商网站搜索"红色连衣裙"时：

使用Query会找出所有包含"红色"和"连衣裙"的商品，并根据相关度排序
使用Filter则只是简单地筛选出所有红色连衣裙，不考虑哪个更相关

// 示例1：基本查询与过滤的区别 (使用OpenSearch Java客户端)
SearchRequest searchRequest = new SearchRequest("products");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

// 纯查询 - 会计算评分
sourceBuilder.query(QueryBuilders.matchQuery("description", "红色连衣裙"));

// 纯过滤 - 不计算评分
sourceBuilder.query(QueryBuilders.boolQuery()
    .filter(QueryBuilders.termQuery("color", "红色"))
    .filter(QueryBuilders.termQuery("category", "连衣裙")));

searchRequest.source(sourceBuilder);
SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);

2. filter与query的性能差异

为什么我们要区分使用filter和query？因为它们的性能特征完全不同：

Filter的优势：

不计算评分，执行速度更快
结果可以被缓存，重复执行相同过滤条件时可以直接使用缓存
适合精确匹配、范围查询等不需要相关度评分的场景

Query的特点：

需要计算每个匹配文档的_score，开销较大
结果不能被缓存(因为相关度计算依赖于具体查询词和文档内容)
适合全文搜索、模糊匹配等需要相关度排序的场景

// 示例2：性能对比测试 (使用OpenSearch Java客户端)
// 测试filter的性能
long startTime = System.currentTimeMillis();
for (int i = 0; i < 100; i++) {
    SearchResponse response = client.search(new SearchRequest("products")
        .source(new SearchSourceBuilder()
            .query(QueryBuilders.boolQuery()
                .filter(QueryBuilders.termQuery("in_stock", true)))
        ), RequestOptions.DEFAULT);
}
long filterTime = System.currentTimeMillis() - startTime;

// 测试query的性能
startTime = System.currentTimeMillis();
for (int i = 0; i < 100; i++) {
    SearchResponse response = client.search(new SearchRequest("products")
        .source(new SearchSourceBuilder()
            .query(QueryBuilders.termQuery("in_stock", true))
        ), RequestOptions.DEFAULT);
}
long queryTime = System.currentTimeMillis() - startTime;

System.out.println("Filter平均时间: " + (filterTime/100.0) + "ms");
System.out.println("Query平均时间: " + (queryTime/100.0) + "ms");

3. 合理组合使用bool query中的must和filter

在实际应用中，我们通常需要同时使用查询和过滤。这时bool查询就派上用场了。bool查询允许我们组合多个查询条件，并指定它们之间的关系。

bool查询包含四种类型的子句：

must：文档必须匹配，且参与评分
filter：文档必须匹配，但不参与评分
should：文档可以匹配(用于"或"逻辑)
must_not：文档必须不匹配(相当于"非"逻辑)

// 示例3：组合使用must和filter (使用OpenSearch Java客户端)
SearchRequest searchRequest = new SearchRequest("products");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

sourceBuilder.query(QueryBuilders.boolQuery()
    // 必须包含"连衣裙"在description字段中(参与评分)
    .must(QueryBuilders.matchQuery("description", "连衣裙"))
    // 颜色必须是红色(不参与评分，可缓存)
    .filter(QueryBuilders.termQuery("color", "红色"))
    // 价格在100-500之间(不参与评分，可缓存)
    .filter(QueryBuilders.rangeQuery("price").gte(100).lte(500))
    // 库存状态必须为true(不参与评分，可缓存)
    .filter(QueryBuilders.termQuery("in_stock", true))
    // 可以包含"夏季"或"新款"(参与评分)
    .should(QueryBuilders.matchQuery("tags", "夏季"))
    .should(QueryBuilders.matchQuery("tags", "新款"))
    // 不能是"促销"商品(不参与评分)
    .mustNot(QueryBuilders.termQuery("promotion", true))
);

searchRequest.source(sourceBuilder);
SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);

4. 常见应用场景与最佳实践

4.1 电商产品搜索

在电商搜索中，通常会有以下需求：

根据用户输入的关键词进行全文搜索(使用query)
根据用户选择的筛选条件(颜色、价格区间、品牌等)进行过滤(使用filter)
根据业务规则调整结果排序(如促销商品置顶)

// 示例4：电商搜索场景 (使用OpenSearch Java客户端)
SearchRequest searchRequest = new SearchRequest("ecommerce_products");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

// 构建复杂查询
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery()
    // 全文搜索(用户输入的关键词)
    .must(QueryBuilders.multiMatchQuery(userInput, 
        "title^3", "description^2", "brand^1.5"))
    
    // 过滤条件
    .filter(QueryBuilders.termQuery("category", selectedCategory))
    .filter(QueryBuilders.termsQuery("color", selectedColors))
    .filter(QueryBuilders.rangeQuery("price")
        .gte(minPrice).lte(maxPrice))
    .filter(QueryBuilders.termQuery("in_stock", true))
    
    // 提升某些条件的权重
    .should(QueryBuilders.termQuery("is_featured", true).boost(2))
    .should(QueryBuilders.termQuery("is_new", true).boost(1.5))
    .minimumShouldMatch(0);

// 添加排序规则
sourceBuilder.sort(new FieldSortBuilder("_score").order(SortOrder.DESC));
sourceBuilder.sort(new FieldSortBuilder("sales_volume").order(SortOrder.DESC));
sourceBuilder.sort(new FieldSortBuilder("rating").order(SortOrder.DESC));

sourceBuilder.query(boolQuery);
searchRequest.source(sourceBuilder);
SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);

4.2 日志分析与监控

在日志分析场景中，我们通常更关注精确匹配和快速过滤，而不是相关度评分：

// 示例5：日志分析场景 (使用OpenSearch Java客户端)
SearchRequest searchRequest = new SearchRequest("app_logs");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

// 主要使用filter进行精确匹配
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery()
    .filter(QueryBuilders.rangeQuery("@timestamp")
        .gte("now-1h").lte("now"))
    .filter(QueryBuilders.termQuery("level", "ERROR"))
    .filter(QueryBuilders.termQuery("service", "payment-service"))
    .filter(QueryBuilders.regexpQuery("message", ".*timeout.*"));

// 可以添加少量query条件用于关键错误信息的匹配
if (StringUtils.isNotBlank(errorPattern)) {
    boolQuery.must(QueryBuilders.matchQuery("message", errorPattern));
}

sourceBuilder.query(boolQuery)
    .size(1000)  // 日志分析通常需要更多结果
    .sort(new FieldSortBuilder("@timestamp").order(SortOrder.DESC));

searchRequest.source(sourceBuilder);
SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);

5. 高级优化技巧

5.1 使用constant_score提升性能

对于不需要评分的查询，可以使用constant_score包装，这会避免不必要的评分计算：

// 示例6：使用constant_score (使用OpenSearch Java客户端)
SearchRequest searchRequest = new SearchRequest("products");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

// 常规filter
sourceBuilder.query(QueryBuilders.boolQuery()
    .filter(QueryBuilders.termQuery("in_stock", true)));

// 使用constant_score优化
sourceBuilder.query(QueryBuilders.constantScoreQuery(
    QueryBuilders.termQuery("in_stock", true)));

searchRequest.source(sourceBuilder);
SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);

5.2 合理使用查询缓存

OpenSearch会自动缓存常用的filter查询。为了最大化缓存命中率：

将频繁使用的过滤条件放在bool查询的filter子句中
尽量使用相同的查询结构和参数顺序
避免在filter中使用now等动态值

// 示例7：优化查询缓存 (使用OpenSearch Java客户端)
// 不好的写法 - 使用now会导致无法缓存
sourceBuilder.query(QueryBuilders.boolQuery()
    .filter(QueryBuilders.rangeQuery("timestamp")
        .gte("now-1d/d")));

// 好的写法 - 使用固定时间范围可以缓存
String fixedTime = DateTimeFormatter.ISO_LOCAL_DATE.format(LocalDate.now().minusDays(1));
sourceBuilder.query(QueryBuilders.boolQuery()
    .filter(QueryBuilders.rangeQuery("timestamp")
        .gte(fixedTime)));

6. 注意事项与常见陷阱

不要过度依赖查询缓存：缓存大小有限，且文档变更时会失效
避免在filter中使用脚本：脚本无法被缓存，性能较差
注意term查询与match查询的区别：term用于精确值匹配，match用于全文搜索
合理设计索引映射：良好的映射设计是查询优化的基础
监控查询性能：使用OpenSearch的慢查询日志识别性能瓶颈

// 示例8：常见错误示范 (使用OpenSearch Java客户端)
// 错误1：在filter中使用脚本
sourceBuilder.query(QueryBuilders.boolQuery()
    .filter(QueryBuilders.scriptQuery(
        new Script("doc['price'].value > params.threshold",
            ScriptType.INLINE, "painless", 
            Collections.singletonMap("threshold", 100)))));

// 错误2：混淆term和match
// 查找精确值"红色"应该用term
sourceBuilder.query(QueryBuilders.matchQuery("color", "红色"));  // 错误
sourceBuilder.query(QueryBuilders.termQuery("color", "红色"));   // 正确

// 错误3：在filter中使用now
sourceBuilder.query(QueryBuilders.boolQuery()
    .filter(QueryBuilders.rangeQuery("timestamp")
        .gte("now-1h")));  // 无法缓存

7. 总结与最佳实践

通过合理使用filter和query，我们可以显著提升OpenSearch的查询性能。以下是一些关键总结：

优先使用filter：对于不需要评分的精确匹配、范围查询等，优先放在filter子句中
合理使用query：全文搜索、模糊匹配等需要相关度排序的场景使用query
组合使用bool查询：通过bool查询的must、filter等子句组合不同查询条件
优化查询缓存：设计可缓存的filter查询，提高缓存命中率
监控与调优：持续监控查询性能，根据实际情况调整查询策略

记住，没有放之四海而皆准的最优方案，最佳实践需要根据你的具体数据特征、查询模式和性能要求来确定。希望本文能帮助你在OpenSearch查询优化的道路上走得更远！

敲码拾光专注于编程技术，涵盖编程语言、代码实战案例、软件开发技巧、IT前沿技术、编程开发工具，是您提升技术能力的优质网络平台。