一、为什么聚合查询会成为性能瓶颈

当数据量达到千万甚至上亿级别时，Elasticsearch的聚合查询往往会变得异常缓慢。这主要是因为聚合操作需要扫描大量文档，计算中间结果，并最终合并统计值。比如一个简单的terms聚合，如果字段基数（cardinality）很高，比如用户ID或订单号，那么内存消耗和计算时间都会显著增加。

举个例子，假设我们有一个电商订单索引，存储了上亿条订单记录，现在需要统计每个商品类目的销售总额：

GET /orders/_search
{
  "size": 0,
  "aggs": {
    "sales_by_category": {
      "terms": {
        "field": "category.keyword",
        "size": 100
      },
      "aggs": {
        "total_sales": {
          "sum": {
            "field": "amount"
          }
        }
      }
    }
  }
}

这个查询看起来简单，但如果category.keyword有上万个不同值，Elasticsearch就需要为每个类目维护一个桶（bucket），并在内存中计算销售总额。数据量越大，聚合性能下降越明显。

二、优化聚合查询的核心思路

1. 减少扫描的数据量

最直接的办法是缩小查询范围。可以通过range查询限定时间范围，或者用bool查询过滤掉无关数据。比如，我们只统计最近三个月的订单：

GET /orders/_search
{
  "size": 0,
  "query": {
    "range": {
      "order_date": {
        "gte": "now-3M/M"
      }
    }
  },
  "aggs": {
    "sales_by_category": {
      "terms": {
        "field": "category.keyword"
      },
      "aggs": {
        "total_sales": {
          "sum": {
            "field": "amount"
          }
        }
      }
    }
  }
}

2. 使用更高效的聚合方式

Elasticsearch提供了多种聚合类型，选择合适的聚合方式能显著提升性能。例如：

  • sampler聚合：先采样部分文档，再对样本进行聚合，适合数据分布均匀的场景。
  • composite聚合：分批次获取聚合结果，避免一次性处理大量数据。
GET /orders/_search
{
  "size": 0,
  "aggs": {
    "sample": {
      "sampler": {
        "shard_size": 1000
      },
      "aggs": {
        "sales_by_category": {
          "terms": {
            "field": "category.keyword"
          }
        }
      }
    }
  }
}

3. 优化索引结构

合理的索引设计能减少聚合时的计算量。例如：

  • 对高基数字段使用keyword类型，避免动态映射导致的性能问题。
  • 使用doc_values加速聚合，因为Elasticsearch默认会为所有支持doc_values的字段启用它。
PUT /orders
{
  "mappings": {
    "properties": {
      "category": {
        "type": "keyword",
        "doc_values": true
      },
      "amount": {
        "type": "double"
      }
    }
  }
}

三、实战优化案例分析

假设我们有一个日志分析系统，需要统计不同IP的访问次数。原始查询如下：

GET /access_logs/_search
{
  "size": 0,
  "aggs": {
    "visits_by_ip": {
      "terms": {
        "field": "ip.keyword",
        "size": 10000
      }
    }
  }
}

这个查询在数据量较大时可能会超时，我们可以采用以下优化措施：

1. 使用composite聚合分批查询

GET /access_logs/_search
{
  "size": 0,
  "aggs": {
    "visits_by_ip": {
      "composite": {
        "sources": [
          {
            "ip": {
              "terms": {
                "field": "ip.keyword"
              }
            }
          }
        ],
        "size": 1000
      }
    }
  }
}

2. 结合date_histogram按时间分片

如果日志是按时间分布的，可以先按天聚合，再合并结果：

GET /access_logs/_search
{
  "size": 0,
  "aggs": {
    "visits_by_day": {
      "date_histogram": {
        "field": "timestamp",
        "calendar_interval": "1d"
      },
      "aggs": {
        "visits_by_ip": {
          "terms": {
            "field": "ip.keyword",
            "size": 1000
          }
        }
      }
    }
  }
}

四、总结与最佳实践

Elasticsearch聚合查询的优化是一个系统工程，需要结合查询方式、索引设计、数据分布等因素综合考虑。以下是一些最佳实践：

  1. 尽量缩小查询范围：通过range、term等查询减少扫描的数据量。
  2. 选择合适的聚合方式：高基数字段考虑composite或sampler聚合。
  3. 优化索引结构：合理使用keyword、doc_values等特性。
  4. 监控性能：通过Profile API分析查询瓶颈。