使用openresty+lua来实现grafana中自动切换实时群集/历史群集对应的vmselect

作者:张富春(ahfuzhang)，转载时请注明作者和引用链接，谢谢！

• cnblogs博客
  
• zhihu
  
• Github
  
• 公众号:一本正经的瞎扯
  
  
  
  

我曾设计了这样的 VictoriaMetrics 中的实时群集和历史群集：

see: deploy_VictoriaMetrics_cluster
期待的效果是：

• 实时群集存储最近 7 天的数据，保障足够快足够可靠，提供告警查询和当前的系统监控。
  
  
  
  • 为了保障实时群集的稳定性，通过牺牲存储时间来减少存储的数据
    
  
  
• 历史群集提供长周期的(例如半年)，且降采样的数据的存储
  
  
  
  • 以低成本的方式提供长周期的数据查询
    
  
  

部署完成后，我部署了一个新的 vmselect 节点，来连接到所有的实时群集和历史群集的vmselect节点上。
可是当我执行如下的查询时，发现数据是正确数据的两倍：

1. sum by (path) (increase(http_request_total{job="myApp"}[1m]))

复制代码

很明显， sum() 时，把实时群集和历史群集中同样的 time series 上的值加了两次。
研究过 dedup 的源码，并未发现明显问题。
无奈，只能通过别的办法绕过去。
于是想到：如果能够自动发现用户查询的时间范围，当用户查询七天以内时转发到实时群集，而查询超过七天就转到历史群集，那么就不用把历史群集和实时群集混合在一起了。
下面是这个思路的详细解决办法：

部署 openresty 的 deployment 的代码如下：

1. # openresty.yaml
3. # nginx 的配置文件放在 configMap 中
4. apiVersion: v1
5. kind: ConfigMap
6. metadata:
7.   name: openresty-config
8. data:
9.   # nginx 的 配置文件
10.   nginx.conf: |
11.     worker_processes  1;
13.     events {
14.         worker_connections  1024;
15.     }
17.     http {
18.         access_log /dev/stdout;
19.         error_log /dev/stderr warn;
21.         lua_package_path "/usr/local/openresty/nginx/lua/?.lua;;";
23.         upstream realtime {
24.             server vmselect-realtime:8481;  # 实时群集的 vmselect
25.         }
27.         upstream historical {
28.             server vmselect-historical:8481;  # 历史群集的 vmselect
29.         }
31.         server {
32.             listen 8401;
34.             location /select/0/prometheus/api/v1/query_range {  # 核心是修改 query_range 这条 api
35.                 content_by_lua_file /usr/local/openresty/nginx/lua/router.lua;
36.             }
37.             # 其它所有路径默认走 realtime
38.             location / {
39.                 proxy_pass http://realtime;
40.             }
42.             location @toRealtime {
43.                 proxy_pass http://realtime;
44.             }
46.             location @toHistorical {
47.                 proxy_pass http://historical;
48.             }
49.         }
50.     }
52.   # lua 脚本的代码
53.   router.lua: |
54.     -- 时间值要支持三种格式：数值，字符串，grafana中的简写
55.     local function parse_start(val)
56.         if not val then return nil end
57.         local num = tonumber(val)
58.         if num then
59.             if num > 1e12 then
60.                 return math.floor(num / 1000)
61.             else
62.                 return num
63.             end
64.         end
66.         local year, mon, day, hour, min, sec =
67.             val:match("^(%d+)%-(%d+)%-(%d+)T(%d+):(%d+):(%d+)")
68.         if year then
69.             return os.time({
70.                 year = tonumber(year),
71.                 month = tonumber(mon),
72.                 day = tonumber(day),
73.                 hour = tonumber(hour),
74.                 min = tonumber(min),
75.                 sec = tonumber(sec)
76.             })
77.         end
79.         local num, unit = val:match("^([%-]?%d+)([smhdw])$")
80.         if num and unit then
81.             num = tonumber(num)
82.             local seconds = 0
83.             if unit == "s" then seconds = num
84.             elseif unit == "m" then seconds = num * 60
85.             elseif unit == "h" then seconds = num * 3600
86.             elseif unit == "d" then seconds = num * 86400
87.             elseif unit == "w" then seconds = num * 7 * 86400
88.             end
89.             return ngx.time() + seconds
90.         end
92.         return nil
93.     end
95.     local args = ngx.req.get_uri_args()
96.     local is_post = (ngx.req.get_method() == "POST")
97.     local post_args = {}
99.     if is_post then
100.         ngx.req.read_body()
101.         post_args = ngx.req.get_post_args()
102.         for k,v in pairs(post_args) do
103.             args[k] = v
104.         end
105.     end
107.     local start = parse_start(args["start"])
108.     local now = ngx.time()
109.     local days = 7  -- 这里设定一个七天的范围：七天以内在实时群集查询，超过七天在历史群集查询
110.     local n_days_ago = now - days*24*3600
111.     local step = "300s"  -- 当查询历史群集时，使用历史群集的降采样后的间隔，即 5 分钟
113.     if start ~= nil then
114.         if start > n_days_ago then
115.             return ngx.exec("@toRealtime")
116.         else
117.             if is_post then
118.                 post_args["step"] = step
119.                 local body_tbl = {}
120.                 for k,v in pairs(post_args) do
121.                     table.insert(body_tbl, ngx.escape_uri(k) .. "=" .. ngx.escape_uri(v))
122.                 end
123.                 local new_body = table.concat(body_tbl, "&")
124.                 ngx.req.set_body_data(new_body)
125.             else
126.                 args["step"] = step
127.                 ngx.req.set_uri_args(args)
128.             end
129.             return ngx.exec("@toHistorical")
130.         end
131.     else
132.         return ngx.exec("@toRealtime")
133.     end
134. ---
135. # 这里是部署 openresty 的 deployment
136. apiVersion: apps/v1
137. kind: Deployment
138. metadata:
139.   name: openresty
140. spec:
141.   replicas: 1
142.   selector:
143.     matchLabels:
144.       app: openresty
145.   template:
146.     metadata:
147.       labels:
148.         app: openresty
149.     spec:
150.       containers:
151.         - name: openresty
152.           image: openresty/openresty:1.27.1.2-alpine
153.           ports:
154.             - containerPort: 8401
155.           volumeMounts:
156.             - name: config
157.               mountPath: /usr/local/openresty/nginx/conf/nginx.conf
158.               subPath: nginx.conf
159.             - name: config
160.               mountPath: /usr/local/openresty/nginx/lua/router.lua
161.               subPath: router.lua
162.           command: ["/usr/local/openresty/bin/openresty"]
163.           args: ["-g", "daemon off;", "-c", "/usr/local/openresty/nginx/conf/nginx.conf"]
164.       volumes:
165.         - name: config
166.           configMap:
167.             name: openresty-config
168. ---
169. apiVersion: v1
170. kind: Service
171. metadata:
172.   name: openresty
173. spec:
174.   selector:
175.     app: openresty
176.   ports:
177.     - protocol: TCP
178.       port: 8401
179.       targetPort: 8401
180.   type: ClusterIP

复制代码

通过命令行部署：

1. KUBECONFIG=~/my-test-k8s.yaml kubectl apply -f ./openresty.yaml -n my-namespace

复制代码

通过 grafana 创建新的数据源，或者可以使用命令查询：

1. curl -G "http://127.0.0.1:8401/select/0/prometheus/api/v1/query_range?start=-7d" -v

复制代码

可以通过 header X-Server-Hostname 观察数据由哪个服务返回。

Have Fun.
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！