如何构建高性能服务器(以Nginx为例)

微信扫一扫,分享到朋友圈

如何构建高性能服务器(以Nginx为例)

方法论

软件层面

增大CPU利用率

  • 使用全部CPU, worker进程数等于CPU

  • 进程间不做无用的切换

  • 繁忙时不主动让出CPU

  • worker进程之间不争抢CPU

  • CPU切换需要5us,如果大量进程需要切换,则CPU会浪费大量的时间切换,做无用功

  • worker进程绑定CPU

    pidstat -w可以查看某个进程的切换次数

  • 不被其他进程抢占资源

  • 提高进程优先级,获得更大的CPU时间片

  • 减少其他进程

  • 减少惊群

    场景:多个worker进程accept同一个端口时

    • 默认accept_mutex on

      多个worker进程争抢锁获得连接,同时只有一个worker获得连接

    • accept_mutex off

      一个连接请求唤醒所有worker进程,同时只有一个worker获得连接,存在惊群问题,当worker进程数不多时,影响不大,少了争锁,高并发时可以提高系统响应能力

    • SO_REUSEPORT

      内核3.9+处理大并发连接新特性,开启后,连接通过内核分配worker进程,性能最好

  • 提高CPU缓存命中率

    绑定worker到指定CPU: worker_cpu_affinity cpumask…

增大内存利用率

  • 使用tcmalloc

    减少内存碎片

    并发能力高于glibc,并发数越多,性能越能体现(小内存分配)

    google-perftools/…/tcmalloc.html

    需要手动编译到nginx

增大IO利用率

  • 对比

    机械硬盘

    • 价格低
    • 存储量大
    • BPS大,适合顺序读写
    • IOPS小,不适合随机读写
    • 寿命长

    固态应胖

    • 价格高
    • 存储量小
    • BPS大
    • IOPS大
    • 写寿命短
  • 优化读取

    • sendfile零拷贝

      文件直接从内核态的文件到socket的传递

      location /video/{
      sendfile on;
      aio on;
      directio 8m;
      }
    • gzip_static

      提前压缩文件,加快gzip报文的返回

    • 内存盘/SSD盘

  • 减少写入

    • empty_gif

      使用返回一张1*1的空白图片,以减少http的返回报文长度

    • AIO

      在磁盘读写时,进程可以处理其他事情

      aio on|off|threads=[pool]

    • 直接IO,减少一次缓存的读写

      directio size|off 超过size则使用直接io,适合大文件

    • 增大error_log级别

    • error.log输出到内存

      error_log memory: 32m debug

      日志在32m的内存进行循环输出,只能看到32m的调试日志,可以提高性能

    • 关闭access_log

    • 压缩access_log

      access_log path [format] [gzip]

    • 是否开启proxy buffering

    • syslog替代本地io

      使用UDP写入代替io写入,提高性能

  • 线程池thread pool

    当某些io会阻塞时,使用线程池

增大网络宽带利用率

  • syn重试次数

    net.ipv4.tcp_syn_retries = 6

  • 本地端口可用范围

    net.ipv4.ip_local_port_range=32768 60999

    可以放大

  • 连接超时

    proxy_connect_timeout

  • 接收连接最大个数(syn未完成握手)

    net.ipv4.tcp_max_syn_backlog = 262144

    可以适当放大

  • 已完成握手

    net.core.somaxconn:系统最大backlog队列长度

  • 超出队列可以接收报文直接回RST

    net.ipv4.tcp_abort_on_overflow

  • 未被内核处理的报文队列长度

    net.core.netdev_max_backlog

  • syn/ack重试次数

    net.ipv4.tcp_synack_retries

  • 处理syn攻击

    net.ipv4.tcp_syncookies=1

    当syn队列满后,新的syn不进入队列,计算出cookie返回客户端,客户端携带cookie重新连接,服务器验证cookie,通过则建立连接。回导致TCP可选功能失效,例如扩充窗口/时间戳等

  • 操作系统最大句柄

    fs.file-max: 操作系统可以使用最大句柄数

    使用fs.file-nr可以查看当前已分配/正使用/上限

  • 用户最大句柄数

    /etc/security/limits.conf

    root soft nofile 63535

    root har nofile 65535

  • 进程限制最大句柄数

    worker_rlimit_nofile number

  • 进程最大连接数

    worker_connections number

  • Tcp Fast Open

    当TCP再次连接时,通过携带cookie,减少一次syn/ack的rtt时间,达到快速建立TCP连接的目的

net.ipv4.tcp_fastopen 0|1|2|3

listen address [:port] [fastopen=number];

fastopen=number为了防止带数据的syn攻击,限制最大长度,指定TFO连接队列的最大长度

  • TCP缓冲区

    net.ipv4.tcp_rmen = 4096 87380 6291456

    net.ipv4.tcp_wmen = 4096 87380 6291456

    net.ipv4.tcp_men = 1541646 2055528 3083292

    net.ipv4.tcp_moderate_rcvbuf=1开启自动调节缓存模式

    listen address [:port] [recvbuf=size] [sndbuf=size]

    net.ipv4.tcp_adv_win_scale = 1

    应用缓存 = buffer / (2^tcp_adv_win_scale)

    接收窗口 = buffer – buffer/(2^tcp_adv_win_scale)

    BDP = 带宽* RTT/2

    buffer=BDP

  • Nagle算法

    网络中只存在一个未被确认的小报文ACK

    目的:避免一个连接上存在大量的小报文,提高网络利用率

    吞吐量优先:启用Nagle tcp_nodelay off

    低延时优先:禁用Nagle tcp_nodelay on

  • 拥塞窗口

    实际流量=拥塞窗口和接收窗口的最小值

  • 慢启动

    指数扩展拥塞窗口cwnd = cwnd*2

  • 拥塞避免

    窗口大于threshold线性增大

  • 拥塞发生

    发生丢包,

    RTO超时,threshold = cwnd/2, cwnd=1

    Fast Retransmit: cwnd=cwnd/2, threshold=cwnd

  • 快速恢复

    当Fast Retransmit出现时,cwnd调整为threshold+3*MSS

  • 优化慢启动

    增大初始cwnd=10

  • TCP keep-alive

    开启keepalive可以探测到失去连接的socket,并即时关闭,节省系统资源

    net.ipv4.tcp_keepalive_time = 7200

    net.ipv4.tcp_keepalive_intvl = 75

    net.ipv4.tcp_keepalive_probes = 9

  • timewait

    net.ipv4.tcp_orphan_retries = 0

    net.ipv4.tcp_fin_timeout = 60

    net.ipv4.tcp_max_tw_buckets = 262144 最大timewait连接数,超出直接关闭连接

  • lingering_close延迟关闭

    当接收缓冲依然接收到客户端的内容,服务器如果马上发送RST关闭连接,会导致客户端由于接收到RST而忽略http response

    lingering_close off|on|always

    reset_timedout_connection on|off; 当读写超时生效依法连接关闭,通过发送RST马上关闭连接,以释放资源

  • TLS/SLL优化握手

    ssl_session_cache

  • TLS/SSL会话票证tickets

    Nginx将会话session中的信息作为tickets加密发送给客户端,当客户端再次建立连接时带上tickets,Nignx验证复用session

    优点可以减少对称加解密的次数,提高性能

    缺点降低安全性,需要经常更换tickets密钥

    ssl_seesion_tickets on|off

    ssl_session_ticket_key file

  • 使用HTTP长连接

    keepalive_request number;

  • gzip压缩

    提高网络传输效率

    gzip on|off

  • 使用http2

统计函数调用统计

google-perltool

pprof –text|pdf

goodle_perftools_profiles file

硬件

  • 网卡:万兆网卡,例如10G/25G/40G
  • 磁盘:固态硬盘,关注IOPS/BPS指标
  • CPU:更快的主频,更大的缓存,更优的架构
  • 内存:更快的访问速度

DNS

微信扫一扫,分享到朋友圈

如何构建高性能服务器(以Nginx为例)

小鹏P7价格优势明显 性能更加迷人

上一篇

解Bug之路-NAT引发的性能瓶颈

下一篇

你也可能喜欢

如何构建高性能服务器(以Nginx为例)

长按储存图像,分享给朋友