知行社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

知行社区 门户 科技频道 网站建设 查看内容

Linux服务器出现502错误的原因猜测

2012-10-29 23:36| 发布者: 知行| 查看: 1415| 评论: 0|原作者: 知行|来自: 本站

摘要: 最近一台Nginx服务器经常出现502错误。下面列出出现错误时的一些症状: 网页打开特别慢,长时间响应之后出现502 Bad GatewayCache化内存使用降至很低,但是Swap却升至很高,超过80%,实际内存使用超过95%。进入控制 ...
最近一台Nginx服务器经常出现502错误。下面列出出现错误时的一些症状:
  • 网页打开特别慢,长时间响应之后出现502 Bad Gateway
  • Cache化内存使用降至很低,但是Swap却升至很高,超过80%,实际内存使用超过95%。
  • 进入控制台,发现磁盘IO速率会在出问题时飙升很多,网络流量下降,CPU使用下降。
  • 系统负载飙升,达到50以上
[attach]536[/attach]
磁盘IO飙升
一些线索:
  • php-fpm日志: 出现大量类似警告:seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 16 children, there are 0 idle, and 88 total children
  • php-fpm日志:大量类似提示:child 16194 exited with code 0 after 54418.456656 seconds from start

可能的原因及解决方案
1.php-cgi不够用,增加maxchildren
2.
一台服务器上运行着nginx php(fpm) xcache,访问量日均 300W pv左右

  最近经常会出现这样的情况: php页面打开很慢,cpu使用率突然降至很低,系统负载突然升至很高,查看网卡的流量,也会发现突然降到了很低。这种情况只持续数秒钟就恢复了

  检查php-fpm的日志文件发现了一些线索

Sep 30 08:32:23.289973 [NOTICE] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200
Sep 30 08:32:23.290212 [NOTICE] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″
Sep 30 08:32:23.290342 [NOTICE] fpm_event_init_main(), line 109: libevent: using epoll
Sep 30 08:32:23.296426 [NOTICE] fpm_init(), line 47: fpm is running, pid 30587



  在这几句的前面,是1000多行的关闭children和开启children的日志

  原来,php-fpm有一个参数 max_requests,该参数指明了,每个children最多处理多少个请求后便会被关闭,默认的设置是500。因为php是把请求轮询给每个children,在大流量下,每个childre到达max_requests所用的时间都差不多,这样就造成所有的children基本上在同一时间被关闭。

  在这期间,nginx无法将php文件转交给php-fpm处理,所以cpu会降至很低(不用处理php,更不用执行sql),而负载会升至很高(关闭和开启children、nginx等待php-fpm),网卡流量也降至很低(nginx无法生成数据传输给客户端)

  解决问题很简单,增加children的数量,并且将 max_requests 设置未 0 或者一个比较大的值:

  打开 /usr/local/php/etc/php-fpm.conf

  调大以下两个参数(根据服务器实际情况,过大也不行)



<value name=”max_children”>5120</value>
<value name=”max_requests”>600</value>



  然后重启php-fpm。

3.可能是磁盘IO太高,这里是百度知道上的解答:
Load average 太高 136 怀疑硬盘读写负载太大
iostat查查吧 感觉内存没啥事 可以查查实际是用来多少 估计很多是cach
cat /proc/meminfo |grep -i active

见:http://zhidao.baidu.com/question/434934676.html

可能有效的解决方案:
1.增加php-fpm的max_children没有解决问题。
2.增加max_requests到102400,可能有效果。
3.Mysql使用了swap分区,可以设置系统尽量不用swap分区,见:http://bbs.tecbbs.com/thread-3086-1-1.html

修改后症状暂时消失,猜测是因为Mysql使用了swap分区,导致磁盘读写速率突然增高,接着致使负载奇高,网页打开也就慢了。




鲜花

握手

雷人

路过

鸡蛋

关于我们|小黑屋|手机版|Archiver|知行技术社区 ( 湘ICP备11020288号-1 )

GMT+8, 2017-10-18 23:45 , Processed in 0.014858 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

返回顶部