知行社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

知行社区 门户 技术 查看内容

Linux服务器出现502错误的原因猜测

2012-10-29 23:36| 发布者: 知行| 查看: 1474| 评论: 5|原作者: 知行|来自: 本站

摘要: 最近一台Nginx服务器经常出现502错误。下面列出出现错误时的一些症状: 网页打开特别慢,长时间响应之后出现502 Bad GatewayCache化内存使用降至很低,但是Swap却升至很高,超过80%,实际内存使用超过95%。进入控制 ...
最近一台Nginx服务器经常出现502错误。下面列出出现错误时的一些症状:
  • 网页打开特别慢,长时间响应之后出现502 Bad Gateway
  • Cache化内存使用降至很低,但是Swap却升至很高,超过80%,实际内存使用超过95%。
  • 进入控制台,发现磁盘IO速率会在出问题时飙升很多,网络流量下降,CPU使用下降。
  • 系统负载飙升,达到50以上
[attach]536[/attach]
磁盘IO飙升
一些线索:
  • php-fpm日志: 出现大量类似警告:seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 16 children, there are 0 idle, and 88 total children
  • php-fpm日志:大量类似提示:child 16194 exited with code 0 after 54418.456656 seconds from start

可能的原因及解决方案
1.php-cgi不够用,增加maxchildren
2.
一台服务器上运行着nginx php(fpm) xcache,访问量日均 300W pv左右

  最近经常会出现这样的情况: php页面打开很慢,cpu使用率突然降至很低,系统负载突然升至很高,查看网卡的流量,也会发现突然降到了很低。这种情况只持续数秒钟就恢复了

  检查php-fpm的日志文件发现了一些线索

Sep 30 08:32:23.289973 [NOTICE] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200
Sep 30 08:32:23.290212 [NOTICE] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″
Sep 30 08:32:23.290342 [NOTICE] fpm_event_init_main(), line 109: libevent: using epoll
Sep 30 08:32:23.296426 [NOTICE] fpm_init(), line 47: fpm is running, pid 30587



  在这几句的前面,是1000多行的关闭children和开启children的日志

  原来,php-fpm有一个参数 max_requests,该参数指明了,每个children最多处理多少个请求后便会被关闭,默认的设置是500。因为php是把请求轮询给每个children,在大流量下,每个childre到达max_requests所用的时间都差不多,这样就造成所有的children基本上在同一时间被关闭。

  在这期间,nginx无法将php文件转交给php-fpm处理,所以cpu会降至很低(不用处理php,更不用执行sql),而负载会升至很高(关闭和开启children、nginx等待php-fpm),网卡流量也降至很低(nginx无法生成数据传输给客户端)

  解决问题很简单,增加children的数量,并且将 max_requests 设置未 0 或者一个比较大的值:

  打开 /usr/local/php/etc/php-fpm.conf

  调大以下两个参数(根据服务器实际情况,过大也不行)



<value name=”max_children”>5120</value>
<value name=”max_requests”>600</value>



  然后重启php-fpm。

3.可能是磁盘IO太高,这里是百度知道上的解答:
Load average 太高 136 怀疑硬盘读写负载太大
iostat查查吧 感觉内存没啥事 可以查查实际是用来多少 估计很多是cach
cat /proc/meminfo |grep -i active

见:http://zhidao.baidu.com/question/434934676.html

可能有效的解决方案:
1.增加php-fpm的max_children没有解决问题。
2.增加max_requests到102400,可能有效果。
3.Mysql使用了swap分区,可以设置系统尽量不用swap分区,见:http://bbs.tecbbs.com/thread-3086-1-1.html

修改后症状暂时消失,猜测是因为Mysql使用了swap分区,导致磁盘读写速率突然增高,接着致使负载奇高,网页打开也就慢了。




鲜花

握手

雷人

路过

鸡蛋
发表评论

最新评论

知行 2012-10-25 12:31
http://bbs.tecbbs.com/thread-3079-1-1.html
知行 2012-12-26 14:29
知行: &#160;&#160;<a href="http://bbs.tecbbs.com/thread-3079-1-1.html" target="_blank">http://bbs.tecbbs.com/thread-3079-1-1.html</a>


引用下看看效果
:-(相见易得好久 2012-12-26 14:31
知行: 引用下看看效果


引用下。
:-(相见易得好久 2013-2-26 23:13
Choose how the process manager will control the number of child processes.
; Possible Values:
;   static  - a fixed number (pm.max_children) of child processes;
;   dynamic - the number of child processes are set dynamically based on the
;             following directives. With this process management, there will be
;             always at least 1 children.
;             pm.max_children      - the maximum number of children that can
;                                    be alive at the same time.
;             pm.start_servers     - the number of children created on startup.
;             pm.min_spare_servers - the minimum number of children in 'idle'
;                                    state (waiting to process). If the number
;                                    of 'idle' processes is less than this
;                                    number then some children will be created.
;             pm.max_spare_servers - the maximum number of children in 'idle'
;                                    state (waiting to process). If the number
;                                    of 'idle' processes is greater than this
;                                    number then some children will be killed.
;  ondemand - no children are created at startup. Children will be forked when
;             new requests will connect. The following parameter are used:
;             pm.max_children           - the maximum number of children that
;                                         can be alive at the same time.
;             pm.process_idle_timeout   - The number of seconds after which
;                                         an idle process will be killed.
; Note: This value is mandatory.
:-(相见易得好久 2013-2-26 23:16
; The number of child processes to be created when pm is set to 'static' and the
; maximum number of child processes when pm is set to 'dynamic' or 'ondemand'.
; This value sets the limit on the number of simultaneous requests that will be
; served. Equivalent to the ApacheMaxClients directive with mpm_prefork.
; Equivalent to the PHP_FCGI_CHILDREN environment variable in the original PHP
; CGI. The below defaults are based on a server without much resources. Don't
; forget to tweak pm.* to fit your needs.
; Note: Used when pm is set to 'static', 'dynamic' or 'ondemand'
; Note: This value is mandatory.
pm.max_children = 5

; The number of child processes created on startup.
; Note: Used only when pm is set to 'dynamic'
; Default Value: min_spare_servers + (max_spare_servers - min_spare_servers) / 2
pm.start_servers = 2

; The desired minimum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
pm.min_spare_servers = 1

; The desired maximum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
pm.max_spare_servers = 3

查看全部评论(5)

相关分类



QQ|小黑屋|手机版|知行技术社区 ( 湘ICP备11020288号-1 )

GMT+8, 2020-4-5 11:05 , Processed in 0.016607 second(s), 12 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

返回顶部