一、为什么需要关注OpenResty高延迟请求
作为一个基于Nginx和Lua的高性能Web平台，OpenResty在网关层和应用服务器领域都表现优异。但在实际生产环境中，我们经常会遇到某些请求响应特别慢的情况。这些"拖油瓶"请求不仅影响用户体验，还可能成为系统瓶颈。
想象一下，你正在运营一个电商网站，大促期间突然发现结算页面加载特别慢。通过监控看到平均响应时间在200ms左右，但总有那么几个请求要花上2-3秒。这种长尾延迟问题就像高速路上的事故车，会让整个系统的吞吐量大幅下降。
二、OpenResty日志配置与采集
要分析高延迟请求，首先得有完整的日志数据。OpenResty的日志模块非常灵活，我们可以通过修改nginx.conf来记录关键信息：
http {
log_format main '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent" '
'rt=$request_time uct="$upstream_connect_time" '
'uht="$upstream_header_time" urt="$upstream_response_time"';
access_log logs/access.log main buffer=32k;
}
这个配置中几个关键字段解释：
- $request_time：从接收客户端第一个字节到返回响应之间的总时间
- $upstream_connect_time：与上游服务器建立连接花费的时间
- $upstream_header_time：上游服务器响应头到达时间
- $upstream_response_time：上游服务器响应全部到达时间
建议将日志文件按天切割，方便后续分析：
# 日志切割脚本示例
#!/bin/bash
LOG_PATH=/usr/local/openresty/nginx/logs
YESTERDAY=$(date -d "yesterday" +%Y%m%d)
mv ${LOG_PATH}/access.log ${LOG_PATH}/access_${YESTERDAY}.log
kill -USR1 $(cat ${LOG_PATH}/nginx.pid)
三、使用Lua脚本增强日志分析
OpenResty的强大之处在于可以用Lua脚本扩展功能。我们可以编写简单的Lua脚本来实时识别慢请求：
-- 在nginx.conf的http块中添加
lua_shared_dict slow_requests 10m;
server {
location / {
access_by_lua_block {
local threshold = 1 -- 1秒作为慢请求阈值
ngx.ctx.start_time = ngx.now()
}
log_by_lua_block {
local request_time = ngx.now() - ngx.ctx.start_time
if request_time > threshold then
local slow = ngx.shared.slow_requests
local key = ngx.var.request_uri
slow:incr(key, 1)
end
}
}
location /slow_requests {
content_by_lua_block {
local slow = ngx.shared.slow_requests
local keys = slow:get_keys()
ngx.say("Slow Requests Report:")
for _, key in ipairs(keys) do
local count = slow:get(key)
ngx.say(key, ": ", count, " slow requests")
end
}
}
}
这个脚本做了三件事：
- 在请求开始时记录时间戳
- 请求结束时计算耗时，超过阈值就记入共享内存
- 提供/slow_requests接口查看慢请求统计
四、深入分析高延迟原因
拿到慢请求数据后，我们需要像侦探一样分析背后的原因。常见的高延迟场景包括：
- 上游服务响应慢：
# 通过日志分析上游响应时间
cat access.log | awk '{print $7, $NF}' | sort -k2 -nr | head -10
- 数据库查询瓶颈：
-- 在Lua中记录SQL查询时间
local db = require "resty.mysql"
local start = ngx.now()
local res, err = db:query("SELECT * FROM large_table")
local elapsed = ngx.now() - start
if elapsed > 0.5 then -- 超过500ms的查询
ngx.log(ngx.WARN, "Slow query: ", elapsed, "s")
end
- 外部API调用：
local http = require "resty.http"
local httpc = http.new()
local start = ngx.now()
local res, err = httpc:request_uri("https://api.external.com", {
method = "GET",
timeout = 1000 -- 1秒超时
})
local elapsed = ngx.now() - start
if elapsed > 0.8 then -- 超过800ms的API调用
ngx.log(ngx.WARN, "Slow API call: ", elapsed, "s")
end
五、优化高延迟请求的实用技巧
找到问题后，我们可以采取多种优化措施：
- 缓存热数据：
local cache = ngx.shared.my_cache
local value = cache:get("hot_data")
if not value then
value = get_data_from_db() -- 从数据库获取
cache:set("hot_data", value, 60) -- 缓存60秒
end
- 批量查询优化：
-- 不好的做法：循环中单个查询
local ids = {1001, 1002, 1003, 1004, 1005}
local results = {}
for _, id in ipairs(ids) do
local res = db:query("SELECT * FROM items WHERE id="..id)
table.insert(results, res)
end
-- 好的做法：批量查询
local res = db:query("SELECT * FROM items WHERE id IN (1001,1002,1003,1004,1005)")
- 连接池管理：
# 在nginx.conf中配置数据库连接池
upstream database {
postgres_server 127.0.0.1 dbname=test user=test password=test;
keepalive 10; # 保持10个连接
}
六、构建完整的监控体系
单次优化是不够的，我们需要建立完整的监控体系：
- 实时仪表盘：
-- 使用Prometheus监控指标
local prometheus = require "prometheus"
local metric_latency = prometheus:histogram(
"openresty_request_latency_seconds",
"Request latency in seconds",
{"uri"}
)
log_by_lua_block {
metric_latency:observe(ngx.var.request_time, {ngx.var.uri})
}
- 告警机制：
# 使用ELK设置告警
# 在Kibana中创建规则：当某API的P99延迟>1s时触发告警
- 性能基线：
# 使用wrk建立性能基线
wrk -t4 -c100 -d30s --latency http://localhost/api/v1/products
七、总结与最佳实践
经过以上分析，我们可以总结出处理OpenResty高延迟请求的最佳实践：
- 完善的日志记录是基础，确保记录关键时间指标
- 使用Lua脚本实现实时监控和简单分析
- 区分不同类型的延迟问题，针对性优化
- 建立持续监控机制，不要等问题爆发才处理
- 定期进行性能测试，建立性能基线
记住，优化是一个持续的过程。在微服务架构下，一个慢请求可能涉及多个服务，需要全链路跟踪才能准确定位问题。OpenResty配合适当的工具链，可以让我们在网关层就发现并解决大部分延迟问题。
评论