服务器进行公众号粉丝数据同步以及批量推送报错502
根据错误信息可以判定是后端的问题,502错误的原因有很多种,但总的来说就是服务器处理不过来了
1.首先查看服务器日志
1)先查nginx日志,不熟悉的可以从nginx.conf中获取error_log的路径,找到错误如下:发现nginx进程处理的连接数不够用,单个进程处理的连接数超过了nginx.conf配置的worker_connections值
通常worker_connections的值可以参考单个进程打开的最大连接数,命令为:ulimit -n
ulimit -a 查看所有限制参数
当前最大打开文件数:65535,可以设置worker_connections为51200重启nginx nginx -s reload
查看当前tcp连接状况 netstat -an|awk /^tcp/{++S[$NF]}END{for (a in S)print a,S[a]}2)查看php-fpm日志,同样不熟悉日志位置可以从php-fpm.conf中查看,注意php7以上的配置文件是放在php-fpm.d目录下的www.conf
查看php-fpm.log
发现pm.max_children不够用了,说明php-fpm最大进程数太小了,查看php配置文件ww.conf,修改改参数pm.max_children=100
php-fpm主要调整几个参数
pm = dynamic 如何控制子进程,选项有static和dynamicpm.max_children:静态方式下开启的php-fpm进程数量 pm.max_requests:php-fpm子进程能处理的最大请求数 pm.start_servers:动态方式下的起始php-fpm进程数量 pm.min_spare_servers:动态方式下的最小php-fpm进程数 pm.max_spare_servers:动态方式下的最大php-fpm进程数量一、pm.max_children,pm.max_spare_servers 多大合适?
这个值原则上是越大越好,php-cgi的进程多了就会处理的很快,排队的请求就会很少。 设置”max_children” 也需要根据服务器的性能进行设定。数量也可以根据 内存/30M 得到,比如8GB内存可以设置为100,那么php-fpm耗费的内存就能控制在 2G-3G的样子。
对于小内存的服务器来说,比如256M内存的VPS,即使按照一个20M的内存量来算,10个php-cgi进程就将耗掉200M内存,那系统的崩溃就应该很正常了。
因此应该尽量地控制php-fpm进程的数量,大体明确其他应用占用的内存后,
给它指定一个静态的小数量,会让系统更加平稳一些。或者使用动态方式,
因为动态方式会结束掉多余的进程,可以回收释放一些内存,所以推荐在内存较少的服务器或VPS上使用。具体最大数量根据 内存/30M 得到。pm.start_servers缺省值计算公式: min_spare_servers + (max_spare_servers – min_spare_servers) / 2。
比如说512M的VPS,加入分配给php-fpm最大250M,建议pm.max_spare_servers设置为250/30 ,约为8。至于pm.min_spare_servers,则建议根据服务器的负载情况来设置,比如服务器上只是部署php环境的话,比较合适的值在2~5之间。
这里面还有一个问题,php-fpm因为一些第三方库可能会引起内存泄漏,时间长了,占用的内存会比较多,像我们的服务器现在就是50m左右,还好,有pm.max_requests这个参数,这个参数指定了一个php-fpm子进程执行多少次之后重启该进程。这个可能就要根据你的实际情况调整了。
计算方式如下:
一般来说一台服务器正常情况下每一个php-cgi所耗费的内存在20M~30M左右,因此我的”max_children”我设置成40个,20M*40=800M也就是说在峰值的时候所有PHP-CGI所耗内存在800M以内,低于我的有效内存2Gb。
而如果我 的”max_children”设置的较小,比如5-10个,那么php-cgi就会“很累“,处理速度也很慢,等待的时间也较长,占用的CPU也很高。
如果长时间没有得到处理的请求就会出现 504 Gateway Time-out 这个错误,而正在处理的很累的那几个php-cgi如果遇到了问题就会出现 502 Bad gateway 这个错误。
max_children较好的设置方式根据req/s (吞吐率,单位时间里服务器处理的最大请求数,单位req/s)来设置, 若程序是 100 req/s 的处理能力,那么就设置 100比较好,这是动态来调整的。二、request_terminate_timeout 多大合适?
计算方式如下:
如果你的服务器性能足够好,且宽带资源足够充足,PHP脚本没有循环或BUG的话你可以直接将”request_terminate_timeout”设 置成0s。0s的含义是让PHP-CGI一直执行下去而没有时间限制。
而如果你做不到这一点,也就是说你的PHP-CGI可能出现某个BUG,或者你的宽带不够充足或者其他的原因导致你的PHP-CGI能够假死那么就建议你给”request_terminate_timeout”赋一个值,这个值可以根 据你服务器的性能进行设定。
一般来说性能越好你可以设置越高,20分钟-30分钟都可以。由于我的服务器PHP脚本需要长时间运行,有的可能会超过10分钟因此我设置了900秒,这样不会导致PHP-CGI死掉而出现502 Bad gateway这个错误。
优化后的参数
编辑/usr/local/php/etc/php-fpm.d/www.conf:
服务器配置:2核8G
pm = dynamic
pm.start_servers = 5
pm.min_spare_servers = 2
pm.max_spare_servers = 100request_terminate_timeout=1200
查出服务的进程id
ps aux |grep php-fpm
kill -9 进程id 常用来杀死僵尸进程总结nginx出现502错误原因
二、代理缓冲区设置过小
如果你使用的是nginx反向代理,如果header过大,超出了默认的1k,就会引发上述的upstream sent too big header (说白了就是nginx把外部请求给后端处理,后端返回的header太大,nginx处理不过来就会导致502。server {
listen 80; server_name *.lxy.me; location / {添加这3行
fastcgi_buffer_size 64k;
fastcgi_buffers 32 32k;
fastcgi_busy_buffers_size 128k;
添加这3行
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
…………
}三、默认php-cgi的进程数设置过少
在安装好使用过程中出现502问题,一般是因为默认php-cgi进程是5个,可能因为phpcgi进程不够用而造成502,需要修改/usr/local/php/etc/php-fpm.conf 将其中的max_children值适当增加。也有可能是max_requests值不够用。需要说明的是这连个配置项占用内存很大,请根据服务器配置进行设置。否则可能起到反效果。四、php执行超时
php执行超时,修改/usr/local/php/etc/php.ini 将max_execution_time 改为300五、nginx等待时间超时
部分PHP程序的执行时间超过了Nginx的等待时间,可以适当增加nginx.conf配置文件中FastCGI的timeout时间http {
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
……
}六、如果做公众号这一块,注意有可能是微信服务器请求自己服务器过多导致的
如果发现php-fpm进程数已经达到最大的进程数,查看php-fpm配置文件,可以看到错误信息
暂无评论内容