企业内部培训网站为例,探索云上成本优化

企业,内部,培训,网站,探索,成本,优化 · 浏览次数 : 14

小编点评

**云上成本优化方案** **1. 业务背景** - 某集团客户 A 的内部业务系统包含一个内部在线教育网站。 - 原部署在线下 IDC 机房,为集团内部各地分公司部提供内部培训服务。 - 网站除了提供点播服务外,还要在后台为讲师上传的原始视频文件。 **2. 方案架构** - 使用 DWR + MPC 服务进行视频转码和截帧。 - 用户上传源视频后自动转换为不同清晰度的 m3u8 格式视频。 - 配置 OBS 生命周期,定时将访问频次低的数据逐级转换为归档存储与深度归档存储。 - 配置 OBS + CDN 加速,并提前购买 CDN 流量包,降低网络成本。 - 为简化费用对比,我们假设用户共 100T 数据,其中 20T 数据为历史归档数据,基本不需要访问,20T 数据为低频数据,不经常访问。 **3. 成本分析** - 原价:67% - 优化后的成本:1/3 **4. 优缺点** **优点** - 降低计算成本。 - 降低存储成本。 - 简化费用对比。 **缺点** - 优化过程可能需要一些时间和精力。 - 优化后的成本可能比原价高一些。 **5. 建议** - 在进行成本优化之前,要对项目进行详细的分析。 - 选择合适的平台和技术方案。 - 定期监控费用变化,进行必要的调整。

正文

摘要:本文就以一个企业内部培训网站为例,拆解云上成本优化方案需要注意的点,抛砖引玉,帮助大家参考业务架构,合理节省费用。

本文分享自华为云社区《云上成本优化方案——以一个企业内部培训网站为例》,作者:云存储开发者支持团队。

越来越多的企业选择将服务搭建在云上,业务初期访问量、数据量都较小,成本问题还不显著。随着业务规模的不断扩张,云上的资源消耗也在不断增多,云资源成本开始成为一个不得不考虑的问题。本文就从一个企业内部培训网站为例,拆解云上成本优化方案需要注意的点,抛砖引玉,帮助大家参考业务架构,合理节省费用。

1. 业务背景介绍

某集团客户 A,内部业务系统中包含一个内部在线教育网站,原部署在线下 IDC 机房,为集团内部各地分公司部提供内部培训服务。网站除了提供点播服务外,还要在后台为讲师上传的原始视频添加水印,转换为指定清晰度,截取首帧作为视频封面,并隔固定时间截取一张截图方便学生跳转。现集团业务整体搬迁上华为云,需要考虑搬迁上云后成本问题。

2. 基础方案与成本优化点识别

在方案搬迁初期,客户考虑对系统做微量改动后上云,即系统整体架构不变,仅将存储介质替换为对象存储 OBS。为保证视频转码性能,采购一台 8U32G 服务器。在此方案中涉及的成本优化点全部集中在基础资源 IaaS 中,即计算、存储、网络,我们逐项目进行优化。

2.1 计算成本

对计算来说,最理想的降成本方案就是极致的弹性,不使用时不计费,使用时也仅出使用了的计算资源,而不是直接整台 8U32G 的服务器,然后大多时间资源利用率仅有 10% 以下。所以第一处改动就是通过使用华为云 MPC 服务替换其自建的转码服务,相较于自己采购服务器,且大多数时间处于闲置状态,MPC 服务按视频转换时间收费,H.264 标准转码包 5000 分钟仅 88元,成本极低。添加水印和截取指定帧的动作同样可以较由 MPC 完成。同时将所有网页静态资源均存储至 OBS 中,降低服务器压力,在不调整其他组件的前提下,可直接将服务器降级为 4U8G 规格,节省费用。可配合数据工坊 DWR 的工作流进行使用,在上传视频时自动触发工作流,进一步降低上手难度,详情参考 视频转码工作流最佳实践

当然,现在还不是最极致的弹性,如果想要进一步优化计算成本,应考虑通过使用 CCI 容器或改造为 serverless 应用,进一步压缩,限于篇幅暂不展开讨论。

2.2 存储成本

计算资源可以弹性伸缩,不用时候关机,但是存储资源则不可能不用时删掉,所以就要考虑合理规划存储类型,根据数据对性能的要求合理划分到不同类型的存储介质中,如块存储、对象存储、对象存储的归档存储等。
在当前业务中,转码过后的视频需要经常播放,但转码前的原视频、培训会议现场录制的视频则不需要经常查看,又不能直接删除。此时可以考虑使用对象存储的归档存储与深度归档存储功能,配置生命周期规则,指定部分目录下的视频超过一定时间自动转归档,再超过一定时间后自动转深度归档。
除此之外,即使是转换后的视频也不是所有都经常播放的,可以将上架时间长、播放次数少的视频也转换为归档存储,并配置归档直读功能,进一步降低存储成本。

除了视频外,该网站还存储了很多图片,往往同一张图片还要存储多份,如封面视频就需要有低、中、高清晰度分别的有无水印版本,共六个版本。此时可以考虑使用 OBS 自带的图片转码服务,仅需存储一张原图,在加载时通过添加参数自动转换清晰度或添加水印。

2.3 网络成本

网络成本是视频网站成本中不容忽视的一个大类,而且与可以事先规划的计算与存储成本不同,很多服务都会产生公网出流量费,每次请求会产生的公网出流量也有不同,无法做到精准的定量预估。不过我们可以针对以下几个问题进行分析,设计最佳的网络成本优化方案:

  1. 数据该从哪个出口出?
  2. 每月分别会有多少出流量?
  3. 数据能否进行压缩?
  4. 数据能否分片/分级?
  5. 数据能否在客户端进行缓存?

2.3.1 数据出口选择

在本案例中,共有三个位置会产生公网出流量,分别为 ECS、OBS、CDN,其按需计费流量费分别为 0.8元/G、0.5元/G 与 0.2元/G。所以,我们要尽可能的增加从 CDN 流出的流量,减少从 ECS 流出的流量。可以通过改造业务系统,将静态文件托管至 OBS,并通过 CDN 加速进行分发来达到此目的。可参照 CDN加速访问 OBS一文配置 OBS + CDN 联动。

2.3.2 通过预估流量合理购买套餐包

相较于直接按需计费,提前购买套餐包可以节省更多成本。以 OBS 为例,如若每月流出 100GB,按需计费时一年的流量费为 600 元,而提前购买包年流量包则仅需 411.59 元,节省了 27%。CDN 如果合理购买闲时流量则可以节省更多,具体可前往 OBS 官方活动页 与 CDN 官方活动页查看并选购套餐包。

2.3.3 数据能否进行压缩

现在主流的浏览器都已具备自动解析 gzip 压缩后的 html、js、css 文件,可以在静态资源转储至 OBS 时也可以利用该特性,简单来说就是将 OBS 中的静态文件进行 gzip 压缩,并配置 http 头域来告知浏览器自动解析。更详细教程可参见将 Vue.js 项目部署至静态网站托管,并开启 Gzip 压缩 一文,在节省网络传输流量成本同时也降低了存储成本。

除了文本外,图片也可进行压缩。图片压缩有几种思路,一是通过转换格式为 heic、avif、webp 等压缩效率更高的格式来进行无损压缩;二是使用一些比较知名的工具,如 tinyjpg等进行一些肉眼不可见的有损压缩;三则是在传输过程中,针对对图片清晰度要求不高的场景——如缩略图,使用 OBS 自带的图片转码能力,返回分辨率更低的图片。

2.3.4 数据能否分片/分级

对视频数据来说,很难在不降低肉眼观感的前提下进行压缩,但可考虑对视频数据进行分片,前端播放时仅加载当前播放位置前后片段,而不再每次都将全量数据都缓存至本地。MPC 的转码服务已提供了视频转 hls 格式的能力,将视频切分为多个片段,用户播放视频时,可随意拖动视频进度,会读取相应进度的分片文件进行加载。除此之外,MPC 还可以将一个视频转换为多种清晰度,可根据用户需要选择不同清晰度进行播放,既降低了网络流量费,也提升了用户体验。

3. 最终方案

综合上述分析,最终方案架构如下:

  1. 使用 DWR + MPC 服务进行视频转码和截帧,用户上传源视频后自动转换为不同清晰度的 m3u8 格式视频,降低计算成本。
  2. 配置 OBS 生命周期,定时将访问频次低的数据(如原始视频文件等)逐级转换为归档存储与深度归档存储,降低存储成本。
  3. 配置 OBS + CDN 加速,并提前购买 CDN 流量包,降低网络成本。

为简化费用对比,我们假设用户共 100T 数据,其中 20T 数据为历史归档数据,基本不需要访问,20T 数据为低频数据,不经常访问。假设全部用户每月共播放 10 万分钟,平均每分钟标清视频约 20M,这 1 万分钟的播放中 20% 时间可以播放低清视频(480P移动端),80% 时间播放高清视频(1080P),同长度高清视频大小为标清,也就是说总流出流量约为3.5T。

最终费用为原本的 67%,节省了 1/3 的成本。当然,为了方便理解,本文做了很多假设性的简化,实际项目可能会有偏差,但总体来说成本优化时可以从这几个方面进行考虑总是或多或少有点收获的,在此抛砖引玉,大家可以根据自己项目实际情况针对性的再次优化。

 

点击关注,第一时间了解华为云新鲜技术~

与企业内部培训网站为例,探索云上成本优化相似的内容:

企业内部培训网站为例,探索云上成本优化

摘要:本文就以一个企业内部培训网站为例,拆解云上成本优化方案需要注意的点,抛砖引玉,帮助大家参考业务架构,合理节省费用。 本文分享自华为云社区《云上成本优化方案——以一个企业内部培训网站为例》,作者:云存储开发者支持团队。 越来越多的企业选择将服务搭建在云上,业务初期访问量、数据量都较小,成本问题还

99%运维人员都忽略的服务器安全问题

公众号:咸鱼爱搞机 服务器安全是 IT 行业一个老生常谈的问题了,每年的护网行动,企业内部的安全培训都在提醒每个程序员处理好服务器安全问题已变得刻不容缓 如果在安全方面有疏忽,极易造成数据泄露、隐私泄露等重大安全事故 2022年美医疗中心数据泄露,超130万人受影响; 去年一月,勒索软件攻击引发墨西

DevOps|乱谈开源社区、开源项目与企业内部开源

之前的一篇文章《从特拉斯辞职风波到研发效能中的荒唐事》中关于企业内源的内容在研发效能群内引起了大家的热烈讨论。有的小伙伴不同意,有的小伙伴非常不同意,我觉得这都是非常正常的反馈,话不说不透,理不辩不明,我还是特别希望能和大家一起把这个问题弄明白。这篇文章就是那篇文章的后续,本文主要讨论开源社区、开源

记一次 .NET 某企业内部系统 崩溃分析

## 一:背景 ### 1. 讲故事 前些天有位朋友找到我,说他的程序跑着跑着就崩溃了,让我看下怎么回事,其实没怎么回事,抓它的 crash dump 就好,具体怎么抓也是被问到的一个高频问题,这里再补一下链接: [.NET程序崩溃了怎么抓 Dump ? 我总结了三种方案] https://www.

为啥不适合,依然有很多人大张旗鼓搞企业内部开源?(下)

公司里做事无非「利益」二字。公司利益,团队利益和个人利益。如果三者能高度统一,那当然是好的。很多时候未必能完全统一,尤其是中间团队的利益,这个时候特别需要中间团队负责人的大局观。有的团队人浮于事,先把团队「吹起来」,然后再把事情「铺开来」,再把效果「美颜起来」,至于真实作用闭口不谈。根本没有一个长远

CentOS7.9 搭建内部yum源服务器同步阿里yum源

CentOS7.9 搭建内部yum源服务器同步阿里yum源 环境说明: 1、企业内网需求:企业内部许多服务器是不能连接互联网,但每台centos主机安装软件包时都配置本地yum源很麻烦,也缺少第三方yum源,因此在内网搭建一台yum源服务器满足这一需求,同时网络层面策略只允许此yum源服务器每周日晚

DevOps|研发效能解决的是企业效率问题

研发效能并不能解决企业效益问题 它不是利润中心,不能给你带来直接收入(研发效能相关工具厂商做咨询、出方案、卖工具除外)。想要解决企业效益问题,依赖于企业战略、业务/产品、组织、运营、创新等其他方面。 研发效能解决的是企业效率问题 研发效能解决的是企业内部「产研运协作效率」的问题。 企业最需要两种涉及

[转帖]Traefik中诡异的502和504问题

https://zhuanlan.zhihu.com/p/156138704 我们都知道在 Kubernetes 集群中通常会使用 Ingress 方案来统一代理集群内部的流量,而常用的 Ingress 方案为 traefik 和 nginx,和传统的 Nginx 作为企业内部的反向代理以及负载设备

DevOps|研发效能治理:进化史、规模化与治理复杂性

麻广广@码猿外 研发效能这个词近几年火遍全网,各大企业都加入了研发效能治理的行列,开始梳理企业内部各个团队的研发流程,以期望找到企业降本增效的方向。 抛开政治因素,研发效能治理我们到底是在谈什么呢?从企业高管的视角出发,一定是看到了一些问题,才会有研发效能治理这个话题。从实施者的视角出发,研发效能治

Meilisearch 安装和使用教程

如今搜索功能已成为几乎所有应用不可或缺的一部分。无论是电商平台、内容管理系统,还是企业内部知识库,用户都期待能够快速、准确地找到他们需要的信息。然而,传统的搜索解决方案往往面临着诸多挑战:响应速度慢、相关性差、难以适应大规模数据、缺乏灵活性等。这些问题不仅影响用户体验,还可能导致用户流失,最终影响业