一、OpenResty中的共享内存是什么
在OpenResty的世界里，共享内存就像是一个公共的白板，所有worker进程都可以在上面读写数据。想象一下，你有一个办公室，里面有多个员工（worker进程），他们需要共享一些重要信息。如果每个人都只在自己的笔记本上记录，那信息就无法实时同步。这时候，办公室中央的白板（共享内存）就派上用场了。
OpenResty基于Nginx，采用了多进程模型。默认情况下，每个worker进程都是独立的，它们的内存空间是隔离的。这就带来了一个很现实的问题：如何在多个worker进程之间共享数据？答案就是共享内存。
在OpenResty中，我们主要通过ngx.shared.DICT这个API来操作共享内存。它实际上是一个键值存储，可以跨worker进程共享数据。下面是一个简单的示例：
-- 首先需要在nginx.conf中声明共享内存区域
-- http {
-- lua_shared_dict my_shared_data 10m;
-- }
local shared_data = ngx.shared.my_shared_data
-- 存储数据
local success, err, forcible = shared_data:set("user_count", 100)
if not success then
ngx.log(ngx.ERR, "存储失败: ", err)
end
-- 读取数据
local user_count = shared_data:get("user_count")
ngx.say("当前用户数: ", user_count)
这个例子展示了最基本的共享内存操作。我们首先在Nginx配置中声明了一个10MB大小的共享内存区域，然后在Lua代码中通过ngx.shared来访问它。
二、为什么需要共享内存
你可能会有疑问：既然有Redis这样的外部存储，为什么还要用共享内存？这就像问为什么有了外卖还要自己带饭一样，各有各的使用场景。
共享内存最大的优势就是快！因为它完全在内存中操作，而且不需要走网络协议栈。根据我的测试，共享内存的访问速度比Redis快10-100倍。这对于高并发的场景特别重要，比如计数器、限流等。
举个例子，假设我们要实现一个简单的访问计数器：
local counter = ngx.shared.my_counter
-- 原子性递增
local newval, err = counter:incr("visits", 1)
if not newval then
ngx.log(ngx.ERR, "递增失败: ", err)
return
end
-- 获取当前值
local current = counter:get("visits")
ngx.say("你是今天的第", current, "位访客")
这个计数器如果用Redis实现，每次请求都要走网络，性能会大打折扣。而共享内存完全在本地操作，吞吐量可以轻松达到每秒几十万次。
三、共享内存的高级用法
共享内存不只是简单的键值存储，它还提供了一些高级功能，让我们能处理更复杂的场景。
1. 过期时间控制
共享内存支持给数据设置过期时间，这在实际开发中非常有用：
local cache = ngx.shared.my_cache
-- 设置一个30秒后过期的数据
local success, err = cache:set("temp_data", "重要数据", 30)
if not success then
ngx.log(ngx.ERR, "缓存设置失败: ", err)
end
-- 检查数据是否存在
local data = cache:get("temp_data")
if data == nil then
ngx.say("数据已过期或不存在")
else
ngx.say("获取到数据: ", data)
end
2. 原子性操作
在多进程环境下，原子性操作至关重要。共享内存提供了一些原子操作：
local shared = ngx.shared.my_data
-- 原子性的add操作，只有键不存在时才会设置
local success, err, forcible = shared:add("unique_key", "value")
if not success then
if err == "exists" then
ngx.log(ngx.ERR, "键已存在")
else
ngx.log(ngx.ERR, "其他错误: ", err)
end
end
-- 原子性的replace操作，只有键存在时才会替换
local success, err, forcible = shared:replace("existing_key", "new_value")
if not success then
ngx.log(ngx.ERR, "替换失败: ", err)
end
3. 批量操作
虽然共享内存没有提供原生的批量操作，但我们可以用Lua表来实现类似功能：
local shared = ngx.shared.my_bulk_data
-- 批量设置数据
local items = {
{key = "user_123", value = "Alice"},
{key = "user_456", value = "Bob"},
{key = "user_789", value = "Charlie"}
}
for _, item in ipairs(items) do
local success, err = shared:set(item.key, item.value)
if not success then
ngx.log(ngx.ERR, "设置", item.key, "失败: ", err)
end
end
-- 批量获取数据
local results = {}
for _, item in ipairs(items) do
results[item.key] = shared:get(item.key)
end
ngx.say("批量获取结果: ", cjson.encode(results))
四、实战案例：分布式限流
让我们来看一个实际的例子：用共享内存实现分布式限流。这在API网关中是非常常见的需求。
local limit_req = require "resty.limit.req"
local limiter = limit_req.new("my_limit_req_store", 100, 200) -- 100r/s, 200 burst
local key = ngx.var.binary_remote_addr -- 使用客户端IP作为限流key
local delay, err = limiter:incoming(key, true)
if not delay then
if err == "rejected" then
ngx.exit(503)
end
ngx.log(ngx.ERR, "限流失败: ", err)
ngx.exit(500)
end
if delay > 0 then -- 需要延迟处理
ngx.sleep(delay)
end
-- 正常处理请求
ngx.say("请求处理成功")
这个例子使用了OpenResty自带的limit.req库，它底层就是基于共享内存实现的。我们设置了每秒100个请求的限制，突发可以到200个。当请求超过限制时，会返回503错误。
五、注意事项和最佳实践
虽然共享内存很强大，但使用时也有一些坑需要注意：
内存管理：共享内存大小是固定的，一旦写满，新的写入可能会失败或被强制淘汰旧数据（取决于配置）。要合理评估所需内存大小。
数据一致性：虽然单个操作是原子的，但多个操作的组合并不是。对于复杂的事务需求，可能需要额外的锁机制。
性能考量：虽然共享内存很快，但频繁操作也会成为瓶颈。对于热点数据，考虑在Lua层再做一层缓存。
数据类型限制：共享内存只能存储字符串和数字，复杂数据结构需要序列化。
worker进程重启：当worker进程重启时，共享内存中的数据不会丢失，因为它是所有worker共享的。
六、总结
OpenResty的共享内存是一个非常强大的特性，它解决了多worker进程间的数据共享问题。通过合理的应用，我们可以实现高性能的计数器、缓存、限流等功能，而无需依赖外部存储。
记住，共享内存不是万能的，它最适合存储那些需要高频访问、对延迟敏感、且数据量不大的场景。对于更大的数据或更复杂的查询，可能还是需要Redis或数据库。
最后，建议你在实际项目中使用前，先做好充分的测试和性能评估。共享内存的大小、淘汰策略等参数都需要根据具体业务场景来调整。
评论