项目开展CICD的实践探路

项目,开展,cicd,实践,探路 · 浏览次数 : 335

小编点评

**CICD 的理解和实践** **1. 前言** - CICD 是 CI 和 CD 的简称,指在研发过程中自动执行一系列脚本降低开发引入 bug 的概率。 **2. CICD 的基础概念** - CI:continuous integration,即在向远程仓库 push 代码后,在这次提交合并入主分支前进行一系列测试,构建等流程。 - CD:continuous delivery,即在完成CI后可自动将已验证的代码发布到仓库。 **3. CICD 的开展场景** - 3.1 编译部署实现代码提交之后的自动编译-部署过程。 - 3.2 单元测试开展基于Junit的单元测试内容。 - 3.3 代码扫描实现基于SonarQube的代码质量检测内容。 - 3.4 自动化测试实现基于Python、EasyOne、DeepTest、Jmeter 的自动化测试。 - 3.5 全链路测试探索将上述单个场景进行组合形成全链路测试场景。 **4. 项目实践结合公司内部平台** - 4.1 公司内部平台 BambooBamboo 是京东自研的一套CI/CD流水线解决方案。 - 4.2 项目实际应用 1)编译-部署对Jone上高频构建部署分支进行在 Bamboo 上搭建流水线,实现:代码提交-调用Jone 的构建-调用Jone 的部署-结果通知触发编译构建的几种方式。 - 4.3 单元测试对后端项目开展单元测试,实现:代码提交-maven构建-获取单测报告-结果通知应用效果。 - 4.4 自动化测试项目部署之后,开展自动化回归测试,用于项目上线前的回归测试。 - 4.5 代码扫描基于公司搭建的SonarQube、EOS平台,开展代码扫描,实现:代码提交-代码扫描-扫描报告-问题手工记录行云5 后续规划。

正文

本文介绍了作者对CICD的理解以及在项目中开展CICD的几种场景,总结了每种场景实践的关键节点、带来的收益,以及结合具体项目开展的实际应用。读者可以借鉴本文中描述的场景,或借鉴文中提到的实践方式,在项目中开展CICD,为项目在持续集成部署上做具体的支撑。

1 前言

基于公司Bamboo、EOS,SonarQube平台,在项目中开展CICD持续集成与部署。介绍CICD开展的场景,项目中的实际应用,以及后续规划。

2 CICD基础概念

CICD 是持续集成(Continuous Integration)和持续部署(Continuous Deployment)简称。指在研发过程中自动执行一系列脚本来降低开发引入 bug 的概率,在新代码从开发到部署的过程中,尽量减少人工的介入。

CICD 核心:持续集成、持续部署、持续交付。

CI:Continuous Integration,表示持续集成。

指在向远程仓库 push 代码后,在这次提交合并入主分支前进行一系列测试,构建等流程。
假设现在有个应用的代码存储在 仓库上,每天开发都会 push 很多次提交,针对每次 push,你可以创建一系列脚本进行自动测试,降低往应用里引入错误的概率。它可以应用在包括开发分支在内的多个分支上。
持续集成过程中很重视自动化测试验证结果,以保障所有的提交在合并主线之后的质量问题,对可能出现的一些问题进行预警。

CD:Continuous Delivery,表示持续交付。

指在完成CI后可自动将已验证的代码发布到仓库。
持续交付的目标是拥有一个可随时部署到生产环境的代码库。

CD:Continuous Deployment,表示持续部署。

指在持续集成的基础上更进一步,指将推送指仓库默认分支代码部署到特定环境。
通过自动化的构建、测试和部署循环来快速交付高质量的产品。某种程度上代表了一个开发团队工程化的程度,任何修改通过了所有已有的工作流就会直接和客户见面,只有当一个修改在工作流中构建失败才能阻止它部署到产品线。

3 CICD的开展场景

3.1 编译部署

实现代码提交之后的自动编译-部署过程,取代j-one上构建-部署手动操作

内容:

  • 代码提交后的自动构建、自动部署、构建部署结果通知;

收益:

  • 去除Jone上代码构建完成后的手动部署操作中等待时间;

3.2 单元测试

开展基于Junit的单元测试

内容:

  • 针对后端代码,基于Junit编写单元测试脚本,开展单测,获取单测报告、jacoco代码覆盖率报告;

收益:

  • 提升测试覆盖率,提高代码质量;
  • 减少bug,快速定位bug;
  • 有限支撑重构;

3.3 代码扫描

实现基于SonarQube的代码质量检测

实现基于EOS的代码质量检测

内容:

  • 实现基于SonarQube、或公司平台EOS的代码扫描检测;
  • 代码提交自动触发代码扫描,最终生成报告、结果通知;
  • 扫描结果计入项目质量,记录跟踪问题,直至问题闭环解决。

收益:

  • 代码质量检测的手段丰富;
  • 多层次的自动化测试,提升代码质量;
  • 自动触发测试执行,缩减测试等待时间,提高效率,实现无人值守;

3.4 自动化测试

实现基于Python、EasyOne、DeepTest、Jmeter 的自动化测试。

内容:

  • 实现基于SonarQube的代码质量检测;
  • 实现全链路各环节的自动化测试;
  • 代码提交自动触发测试执行、生成报告、报告通知;

收益:

  • 多层次的自动化测试,提升代码质量;
  • 自动触发测试执行,缩减测试等待时间,提高效率,实现无人值守;

3.5 全链路测试探索

将上述单个场景进行组合形成全链路测试场景;
代码提交触发链路自动运行,以及报告生成、邮件发送。

4 项目实践

结合公司内部平台在实际项目中开展CICD。

4.1 公司内部平台

Bamboo
Bamboo是京东自研的一套CI/CD流水线解决方案,覆盖软件开发的完整生命周期。

EOS
EOS是技术与数据中台自主研发的代码扫描系统,通过扫描分析代码,定位到工程中不规范的编码片段并给出修改建议,能有效监督约束开发人员统一编码习惯,减少因编码不规范引起的低级错误,提高代码可读性,提高团队协作效率。

4.2 项目实际应用

1)编译-部署

对Jone上高频构建部署分支进行在Bamboo上搭建流水线,实现:
代码提交-调用Jone的构建-调用Jone的部署-结果通知

触发编译构建的几种方式:

  • 手动执行;
  • 代码提交触发执行;
  • 定时任务触发执行;
  • 级联其他流水线触发执行;

应用情况:

  • 组内所测试所覆盖都已部署相关流水线;
  • 支撑测试人员在所测项目中部署自动构建流水线,共计调用次数:364次。

2)单元测试

对后端项目开展单元测试,实现:
代码提交-maven构建-获取单测报告-结果通知

应用效果:

  • 极大简化了获取单测报告的过程,通过简单的过程即可针对项目开展单测、执行单测、并获取单测结果;
  • 支撑超过8个项目部署单测流水线,JDL-CRM权限系统单测有效提升率:20%

3)自动化测试

项目部署之后,开展自动化回归测试,用于项目上线前的回归测试,实现:
自动化测试-测试报告-测试结果通知

目前基于Python语言,依托Py第三方模块,实现脚本编写,集成到Bamboo平台,执行流水线,获取报告。

应用效果:

  • 负责在销服项目中开展上线前的UAT自动回归测试;

4)代码扫描

基于公司搭建的SonarQube、EOS平台,开展代码扫描,实现:
代码提交-代码扫描-扫描报告-问题手工记录行云

5 后续规划

CICD过程数据与质量效能数据相结合。
基于DeepTest开展更多项目的自动化测试,集成到BamBoo平台。
代码扫描在项目中的应用。

作者:京东物流 陈维

来源:京东云开发者社区 自猿其说Tech 转载请注明来源

与项目开展CICD的实践探路相似的内容:

项目开展CICD的实践探路

本文介绍了作者对CICD的理解以及在项目中开展CICD的几种场景,总结了每种场景实践的关键节点、带来的收益,以及结合具体项目开展的实际应用。读者可以借鉴本文中描述的场景,或借鉴文中提到的实践方式,在项目中开展CICD,为项目在持续集成部署上做具体的支撑。

如何扩展及优化CI/CD流水线?

如今应用程序的开发通常由多个开发人员组成的团队完成。每个人或团队在项目中发挥自己的作用,然后我们发现在项目的末尾总是有几段代码需要编译,根据每个人的工作方法,管理这种集成可能会浪费很多时间。持续集成和持续交付/部署(CI/CD)便用来解决该问题,确保发布更新顺利进行,避免不必要的延迟和冲突。 因此为

记一次aspnetcore发布部署流程初次使用k8s

主题: aspnetcorewebapi项目,提交到gitlab,通过jenkins(gitlab的ci/cd)编译、发布、推送到k8s。 关于gitlab、jenkins、k8s安装,都是使用docker启动服务。 首先新建一个项目,为了方便浏览就把swaggerr非开发环境不展示去掉 下面就是需

算法金 | 选择最佳机器学习模型的 10 步指南

大侠幸会,在下全网同名[算法金] 0 基础转 AI 上岸,多个算法赛 Top [日更万日,让更多人享受智能乐趣] 机器学习和数据科学领域的工作充满挑战和乐趣,在我踏上人工智能探索之路的初期,我对能够参与项目感到无比兴奋。 我满怀热情,我急切地想投身于这些项目中。但是,我尝试开展项目,却发现在寻求顺利

从零做软件开发项目系列之七——用户培训

开展用户培训工作是确保软件项目成功的重要一环。通过有计划和系统性的用户培训,您可以确保用户能够有效地使用新系统,提高工作效率,减少问题和困惑,从而实现项目的成功交付。

从零做软件开发项目系列之二——需求调研

在接到软件开发任务之后,第一件要做的事情就是进行需求调研工作,基于前期的沟通以及合同向用户了解具体需求,从而有针对性地开展后续工作。整个调研过程分为调研准备,调研实施,需求分析。

从零做软件开发项目系列之五——系统开发过程

在软件项目的设计开发过程中,除了前期的用户需求调研确认,系统设计、数据库设计等工作之外,还有一些重要的工作需要考虑,比如软件开发模式,如何制定开发计划,如何协调开发人员开展开发工作等。

从零做软件开发项目系列之三——系统设计

前言 在与客户充分接触后取得需求调研结果,然后分析调研内容,撰写完成项目的需求规格说明书。这是一个正式的文件,需要供需双方签字确认。说明书中会明确需求方的要求和开发方实现的内容,依据需求规格说明书,开发方就要开展系统设计工作。 进行系统设计工作,粗略的可以分成两个阶段,概要设计(总体设计)阶段和详细

项目讲解之常见安全漏洞

本文是从开源项目 RuoYi 的提交记录文字描述中根据关键字漏洞|安全|阻止筛选而来。旨在为大家介绍日常项目开发中需要注意的一些安全问题以及如何解决。 项目安全是每个开发人员都需要重点关注的问题。如果项目漏洞太多,很容易遭受黑客攻击与用户信息泄露的风险。本文将结合3个典型案例,解释常见的安全漏洞及修

SDK多项目开发与联调

在SDK开发中,因为是往外提供的功能静态库,所以在开发的时候要验证开发的SDK是否功能正常,这里就需要做进行边开发边联调的工作。 下面使用的开发模式是创建一个WorkSpace工作工具,SDK项目和Demo项目都作为子项目,通过配置Demo项目的Header搜索路径和库搜索路径来实现SDK与Demo