修正Nginx源码实现worker进程隔离实现详解
发布时间:2023-02-20 10:34:31 所属栏目:Nginx 来源:互联网
导读:背景 最近我们线上网关替换为了 APISIX,也遇到了一些问题,有一个比较难解决的问题是 APISIX 的进程隔离问题。 APISIX 不同种类请求的互相影响 首先我们遇到的就是 APISIX Prometheus 插件在监控数据过多时影响正常业务接口响应的问题。当启用 Prometheus
} } // ... } 随后在 ngx_worker_process_cycle 的逻辑对第 0 号 worker 做特殊处理,这里的 demo 使用 18080、18081、18082 作为隔离端口示意。 ngx_worker_process_cycle(ngx_cycle_t *cycle, void *data) { ngx_int_t worker = (intptr_t) data; int ports[3]; ports[0] = 18080; ports[1] = 18081; ports[2] = 18082; ngx_worker_process_init(cycle, worker); if (worker == 0) { // 处理 0 号 worker ngx_setproctitle("isolation process"); ngx_close_not_isolation_listening_sockets(cycle, ports, 3); } else { // 处理非 0 号 worker ngx_setproctitle("worker process"); ngx_close_isolation_listening_sockets(cycle, ports, 3); } } 这里新写了两个方法 ngx_close_not_isolation_listening_sockets:只保留隔离端口的监听,取消其它端口监听 ngx_close_isolation_listening_sockets:关闭隔离端口的监听,只保留正常业务监听端口,也就是处理正常业务 ngx_close_not_isolation_listening_sockets 精简后的代码如下: // used in isolation process void ngx_close_not_isolation_listening_sockets(ngx_cycle_t *cycle, int isolation_ports[], int port_num) { ngx_connection_t *c; int port_match = 0; ngx_listening_t* ls = cycle->listening.elts; for (int i = 0; i < cycle->listening.nelts; i++) { c = ls[i].connection; // 从 sockaddr 结构体中获取端口号 in_port_t port = ngx_inet_get_port(ls[i].sockaddr) ; // 判断当前端口号是否是需要隔离的端口 int is_isolation_port = check_isolation_port(port, isolation_ports, port_num); // 如果不是隔离端口,则取消监听事情的处理 if (c && !is_isolation_port) { // 调用 epoll_ctl 移除事件监听 ngx_del_event(c->read, NGX_READ_EVENT, 0); ngx_free_connection(c); c->fd = (ngx_socket_t) -1; } if (!is_isolation_port) { port_match++; ngx_close_socket(ls[i].fd); // close 当前 fd ls[i].fd = (ngx_socket_t) -1; } } cycle->listening.nelts -= port_match; } 对应的 ngx_close_isolation_listening_sockets 关闭所有的隔离端口,只保留正常业务端口监听,简化后的代码如下。 void ngx_close_isolation_listening_sockets(ngx_cycle_t *cycle, int isolation_ports[], int port_num) { ngx_connection_t *c; int port_match; port_match = 0; ngx_listening_t * ls = cycle->listening.elts; for (int i = 0; i < cycle->listening.nelts; i++) { c = ls[i].connection; in_port_t port = ngx_inet_get_port(ls[i].sockaddr) ; int is_isolation_port = check_isolation_port(port, isolation_ports, port_num); // 如果是隔离端口,关闭监听 if (c && is_isolation_port) { ngx_del_event(c->read, NGX_READ_EVENT, 0); ngx_free_connection(c); c->fd = (ngx_socket_t) -1; } if (is_isolation_port) { port_match++; ngx_close_socket(ls[i].fd); // 关闭 fd ls[i].fd = (ngx_socket_t) -1; } } cle->listening.nelts -= port_match; } 如此一来,我们就实现了 Nginx 基于端口的进程隔离。 效果验证 这里我们使用 18080~18082 端口作为隔离端口验证,其它端口作为正常业务端端口。为了模拟请求占用较高 CPU 的情况,这里我们用 lua 来计算多次 sqrt,以更好的验证 Nginx 的 worker 负载均衡。 server { listen 18080; // 18081,18082 配置一样 server_name localhost; location / { content_by_lua_block { local sum = 0; for i = 1,10000000,1 do sum = sum + math.sqrt(i) end ngx.say(sum) } } } server { listen 28080; server_name localhost; location / { content_by_lua_block { local sum = 0; for i = 1,10000000,1 do sum = sum + math.sqrt(i) end ngx.say(sum) } } } (编辑:甘南站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |