Node.js 如何利用异步提升任务处理速度

今天在做一个小任务，需要调用阿里云的图像识别接口，对 62662 张照片进行场景识别，并将结果写到本地的 csv 文件中。

因为任务很简单，没想很多就开始码。自从有了 async/await 之后，已经很久不写 callback 了，所以上手就写成这样：

本文所有代码均有简化，只保留关键过程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
1async fetchSceneTags(imagePath) {

2  try {

3   const result = await callAliyunAPI(imagePath);

4   return result.errno === 0 ? result.tags : [];

5 } catch(error) {

6   return [];    

7 }

8}

9

10async function writeScene(paths) {

11  for (let i = 0, len = paths.length; i < len; i++) {

12    await tags = fetchSceneTags(paths[i])

13    writeToFile(tags);

14    writeStdout(`${i} / ${len}`);

15  }

16}

17

18function start() {

19  const paths = loadPaths();

20  writeScene(paths);

21}

22

运行起来以后没问题就放着忙别的去了。过了差不多 2 小时回来一看，才跑了 17180 张图，每分钟 144 张。这才意识到同步速度太慢了，于是停掉进程，将代码改成下面这样：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
1fetchSceneTagsAsync(imagePath, callback) {

2  callAliyunAPI(imagePath)

3    .then(result => {

4   const tags = result.errno === 0 ? result.tags : [];

5     callback(tags);

6   })

7    .catch(error => callback([]));

8}

9

10function writeSceneAsync(paths) {

11  const callback = tags => {

12    await tags = fetchSceneTagsAsync(paths[i])

13    writeToFile(tags);

14  }

15  

16  paths.forEach(path => fetchSceneTagsAsync(path, callback));

17}

18

19function start() {

20  const paths = loadPaths();

21  writeSceneAsync(paths);

22}

23

跑了一下，直接停摆了。嗯，不能一下把请求全发出去，加一个 Throttle：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1fetchSceneTagsAsync(imagePath, callback) {

2  callAliyunAPI(imagePath)

3    .then(result => {

4   const tags = result.errno === 0 ? result.tags : [];

5     callback(tags);

6   })

7    .catch(error => callback([]));

8}

9

10function throttle(paths, callback) {

11  if(paths.length === 0) return;

12  

13  const sub = paths.splice(0, 10);

14  sub.forEach(path => fetchSceneTagsAsync(path, callback));

15 setTimeout(() => throttle(paths, callback), 1000)

16}

17

18function writeSceneAsync(paths) {

19  const callback = tags => {

20    await tags = fetchSceneTagsAsync(paths[i])

21    writeToFile(tags);

22  }

23  

24  throttle(paths, callback)

25}

26

27function start() {

28  const paths = loadPaths();

29  writeSceneAsync(paths);

30}

31

重新启动服务，观察了一下，大约每分钟处理 568 张图片，速度提升约 4 倍。