如何使用 Node.js Stream API 减少服务器端内存消耗?

如何,使用,node,js,stream,api,减少,服务器端,内存,消耗 · 浏览次数 : 57

小编点评

## 摘要 本文分享了在内存消耗方面采用流的编程思路带来的巨大优越性的例子,并通过创建一个大文件并将其写入响应对象来展示内存利用的降低。 **关键点:** * 流是一种可读和可写流,可以让我们将多个流连接起来并共享内存。 * 在 Node.js 中,我们可以使用 `fs.createReadStream` 方法创建可读流,并将其通过管道传递给响应对象。 * 使用流可以显著降低内存消耗,因为我们不再需要缓存整个文件内容。 * 为了进一步降低内存消耗,我们可以使用 `createReadStream` 方法将文件内容流式传输。 * 使用流可以让我们在不消耗大量内存的情况下获得类似结果。 ## 关键词 * 流 * Node.js * HTTP * 响应对象 * fs 模块 * createReadStream *管道

正文

摘要:让我们看一个示例,展示在内存消耗方面,采用流的编程思路带来的巨大优越性。

本文分享自华为云社区《使用 Node.js Stream API 减少服务器端内存消耗的一个具体例子》,作者:Jerry Wang 。

HTTP 响应对象(上面代码中的 res)也是一个可写流。这意味着如果我们有一个表示 big.file 内容的可读流,我们可以将这两个相互连接起来,并在不消耗约 400 MB 内存的情况下获得几乎相同的结果。 Node 的 fs 模块可以使用 createReadStream 方法为我们提供任何文件的可读流。 我们可以将其通过管道传递给响应对象。

让我们看一个示例,展示在内存消耗方面,采用流的编程思路带来的巨大优越性。

我们先创建一个大文件:

const fs = require('fs');
const file = fs.createWriteStream('./big.file');
for(let i=0; i<= 1e6; i++) {
 file.write('this is a big file.\n');
}
file.end();

fs 模块可用于使用流接口读取和写入文件。 在上面的示例中,我们通过一个循环写入 100 万行的可写流,向该 big.file 写入数据。

运行上面的代码会生成一个大约 400 MB 的文件。

这是一个简单的 Node Web 服务器,旨在专门为 big.file 提供服务:

const fs = require('fs');
const server = require('http').createServer();
server.on('request', (req, res) => {
 fs.readFile('./big.file', (err, data) => {
 if (err) throw err;
 res.end(data);
  });
});
server.listen(8000);

启动该服务器,其消耗的初始内存为 8 MB 左右。

使用浏览器访问服务器之后,内存消耗跃升至 434.8 MB。

我们基本上将整个 big.file 内容放在内存中,然后再将其写入响应对象。 这是非常低效的。

HTTP 响应对象(上面代码中的 res)也是一个可写流。 这意味着如果我们有一个表示 big.file 内容的可读流,我们可以将这两个相互连接起来,并在不消耗约 400 MB 内存的情况下获得几乎相同的结果。

Node 的 fs 模块可以使用 createReadStream 方法为我们提供任何文件的可读流。 我们可以将其通过管道传递给响应对象:

const fs = require('fs');
const server = require('http').createServer();
server.on('request', (req, res) => {
 const src = fs.createReadStream('./big.file');
 src.pipe(res);
});
server.listen(8000);

我们现在访问上述重新实现过的服务器,发现内存消耗量大大降低了。

这是因为,当客户端请求该大文件时,我们一次将其流式传输一个块,这意味着我们根本不会将其整个的庞大文件内容缓冲在内存中。 内存使用量增加了大约 25 MB,仅此而已。

我们可以把测试场景设计得更极端一些:用 500 万行而不是 100 万行重新生成 big.file,这将使文件超过 2 GB,这实际上大于 Node.js 中的默认缓冲区限制。

如果尝试使用 fs.readFile 提供该文件,则默认情况下会出现 out of memory 的错误。

但是使用 fs.createReadStream,将 2 GB 的数据流式传输到请求者完全没有问题,而且最重要的是,进程内存使用情况大致相同。

 

点击关注,第一时间了解华为云新鲜技术~

与如何使用 Node.js Stream API 减少服务器端内存消耗?相似的内容:

如何使用 Node.js Stream API 减少服务器端内存消耗?

摘要:让我们看一个示例,展示在内存消耗方面,采用流的编程思路带来的巨大优越性。 本文分享自华为云社区《使用 Node.js Stream API 减少服务器端内存消耗的一个具体例子》,作者:Jerry Wang 。 HTTP 响应对象(上面代码中的 res)也是一个可写流。这意味着如果我们有一个表示

如何使用Node.js、TypeScript和Express实现RESTful API服务

Node.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境。Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型,使其轻量又高效。Express是一个保持最小规模的灵活的 Node.js Web应用程序开发框架,为Web和移动应用程序提供一组强大的功能。使用Node

如何使用zx编写shell脚本

前言 在这篇文章中,我们将学习谷歌的zx库提供了什么,以及我们如何使用它来用Node.js编写shell脚本。然后,我们将学习如何通过构建一个命令行工具来使用zx的功能,帮助我们为新的Node.js项目引导配置。 编写Shell脚本的问题 创建一个由Bash或者zsh执行的shell脚本,是自动化重

module.exports和exports,应该用哪个

> 在 Node.js 编程中,模块是独立的功能单元,可以在项目间共享和重用。作为开发人员,模块让我们的生活更轻松,因为我们可以使用模块来增强应用程序的功能,而无需亲自编写。它们还允许我们组织和解耦代码,从而使应用程序更易于理解、调试和维护。 在这篇文章中,我将介绍如何在 Node.js 中使用模块

玩转服务器之网站篇:新手使用WordPress搭建博客和静态网站部署

在之前的玩转服务器系列文章里,我们介绍了如何构建小型的高可用环境、PHP、Python、Java web、docker环境部署,以及Node.js SSR应用,本篇文章主要介绍新手也能快速上手的WordPress博客搭建和静态网站部署的教程

NodeJS 实战系列:如何设计 try catch

本文将通过一个 NodeJS 程序里无效的错误捕获示例,来讲解错误捕获里常见的陷阱。错误捕获不是凭感觉添加 try catch 语句,它的首要目的是提供有效的错误排查信息,只有精心设计的错误捕获才有可能完成这个使命。针对哪些方面去精心设计就是本篇文章里想讨论的内容

创建nodejs项目并接入mysql,完成用户相关的增删改查的详细操作

本文为博主原创,转载请注明出处: 1.使用npm进行初始化 在本地创建项目的文件夹名称,如 node_test,并在该文件夹下进行黑窗口执行初始化命令 2. 安装 expres包和myslq依赖包 npm i express@4.17.1 mysql2@2.2.5 Express是一个流行的Web应

Nodejs 命令行调用 exec 与 spawn 差异

Nodejs 命令行调用 exec 与 spawn 差异 比如在前端工程项目中 Nodejs 要调用命令行命令如: yarn electron:build exec 调用 yarn 命令,为了能使命令行能实时打印输出正在编译的命令 以异步形式调用 exec 使用 stdout.on 方式监听标准输出

【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)

问题描述 使用Azure Kubernetes服务(AKS),可以通过kubectl连接 pod 中查看日志,但是如何来查看节点的系统日志呢?如是否有ubuntu系统升级的记录? 问题解答 是的,可以进入AKS的节点查看系统文件,如日志文件(/var/log) 或者由应用生产的其他日志。 具体的操作

使用metrics-server监控k8s的资源指标

首先,欢迎使用DHorse部署k8s应用。 k8s可以通过top命令来查询pod和node的资源使用情况,如果直接运行该命令,如下所示。 [root@centos05 deployment]# kubectl top pod W0306 15:23:24.990550 8247 top_pod.go