什么是更高效的数据处理？

我们编写好的代码的执行效率是否高效，我们需要借助一些性能分析工具来完成测试。才能更好的找到问题，并且解决。

如何做好？

指标

定义指标必不可少的，一般指标范围是：

吞吐率（Requests per second）
并发连接数（The number of concurrent connections）
并发用户数（Concurrency Level）
用户平均请求等待时间（Time per request）
服务器平均请求等待时间（Time per request:across all concurrent requests）

代码解析

node --prof ./index.js 生成一个log文件，这个文件的内容是处理日志。然后你可以通过命令： node --prof-process ./io.log > profile.txt 展示详细数据。

工具介绍

ab（Apache Bench)web接口性能压测工具

使用：

ab -c 并发数 -n 请求数 URL

ab工具常用参数：

-n ：总共的请求执行数，缺省是1；\
-c：并发数，缺省是1；\
-t：测试所进行的总时间，秒为单位，缺省50000s\
-p：POST时的数据文件\
-w: 以HTML表的格式输出结果

ab -c100 -n10 -t3 http://localhost:3001/

// apache版本信息
This is ApacheBench, Version 2.3 <$Revision: 1826891 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/
Benchmarking 172.0.0.1:3001 (be patient)…..done
// 请求返回header类型
Server Software:        BWS/1.1
// 请求ip或者域名
Server Hostname:        172.0.0.1:3001
// 请求端口，当前请求为https所以端口为443，请求https端口80
Server Port:            443
SSL/TLS Protocol:       TLSv1.2,ECDHE-RSA-AES128-GCM-SHA256,2048,128
TLS Server Name:        172.0.0.1:3001
Document Path:          /
// 第一个成功返回的文档的字节大小
Document Length:        227 bytes
// 并发数
Concurrency Level:      10
// 从建立连接到最后接受完成总时间
Time taken for tests:   1.407 seconds
// 完成请求数
Complete requests:      100
// 失败请求数
Failed requests:        0
// 从服务器接收的字节总数
Total transferred:      89300 bytes
// HTML接收字节数，减去了Total transferred中HTTP响应数据中的头信息的长度
HTML transferred:       22700 bytes
// 吞吐率：每秒请求数（总请求数/总时间，相当于LR中的每秒事务数TPS）
Requests per second:    3371.07【#/sec】(mean)
// 用户平均请求等待时间
Time per request:       12.709【ms】(mean)
// 服务器处理每个请求平均响应时间，mean表示为平均值
Time per request:       1.071 [ms] (mean, across all concurrent requests)
// 这些请求在单位时间内从服务器获取的数据长度
// 计算公式：Total trnasferred/ Time taken for tests
Transfer rate:          61.98 [Kbytes/sec] received
// 连接消耗时间分解
Connection Times (ms)
            min  mean[+/-sd] median   max
            最小值 平均值 标准差 中间值 最大值
Connect:       60   92  16.6     93     167
Processing:    18   32  11.2     30      97
Waiting:       18   30   9.9     30      97
Total:         77  124  21.4    122     208
// 按完成请求的百分比，得出完成请求中花费时间最长的那一个请求的时间，也就是这些请求完成时间的最大值（毫秒）
Percentage of the requests served within a certain time (ms)
  // 50%请求完成时间的最大值是122毫秒
  50%    122
  66%    130
  75%    139
  80%    140
  // 90%请求完成时间的最大值是148毫秒
  90%    148
  95%    164
  98%    182
  99%    208
  // 100%请求完成时间的最大值是208毫秒（最长请求）
  100%    208 (longest request)

遇到的问题和解决方案

文件打开数量限制

问题1

在Mac端对接口进行压测，发现多线程高并发的时候，会有一些小坑：

容易出现unable to create thread 6: Too many open files。原因是：文件句柄数不够，需要调高文件打开数量。你可以输入：ulimit -a就会看到open files (-n) 256的设置。

使用ulimit -n <number>命令来调高这个值（可能会出现权限错误）-bash: ulimit: open files: cannot modify limit: Operation not permitted：

如果权限不够，使用sudo来执行命令：sudo ulimit -n 1024。

按照提示输入电脑密码后，搞定。

问题2

如果调得过高的话，会出现报错： ulimit: open files: cannot modify limit: Invalid argument。

解决方式：

// 如果权限不够，使用sudo来执行命令

$: sysctl -w kern.maxfiles=1048600
$: sysctl -w kern.maxfilesperproc=1048576
$: ulimit -n 1048576

# 随后使用 ulimit -n 命令查看是否成功设置最大文件打开数。

性能优化 - 更高效的数据处理