利用CI机制管控jar依赖树

利用,ci,机制,管控,jar,依赖 · 浏览次数 : 166

小编点评

## Jar包冲突分析与控制策略 **现状与问题:** jar包更新带来的未知jar引入和变动问题经常发生,研发无法每次都关注其变化,导致人力成本很大。 **采取措施:** * 创建 Makefile 文件,每天定时监控jar包依赖关系的变化。 * 使用 git版本控制,自动记录依赖树的变化。 * 配置 CI/CD,每天自动执行依赖树扫描。 **具体步骤:** **4.1 Makefile 文件:** * 创建 `doc/dependency-tree.txt` 文件,存放jar包依赖关系的变更记录。 * 添加以下内容: ```Makefile @git add doc/dependency-tree.txt @git commit -m "fix: [CI make dependency-tree]依赖树变更" @git push origin HEAD:mastersettings.xml ``` **4.2 gitignore 文件:** * 添加 `/maven4.3` 和 `./maven/repository` 的路径,避免在构建过程中覆盖已存在的 jar 包。 **4.3 coding 配置:** * 在 `coding` 中增加以下配置: ``` - custom:dependency-check shell: /usr/bin/git status doc/dependency-tree.txt ``` **5. 实现效果:** * bamboo 日志显示 `success`,推送可进行评审。 * coding MR 记录可以查看到 bamboo 账号「测试开发_持续集成」发起的 mr,并能进行评审。 **6. 效能提升:** * 实践发现,42次依赖变动中,7次发现了代码问题,分析和处理成本极低。 * 问题被有效避免,提升了 CI/CD 的效率。

正文

1. 现状·问题

你还记得你排查jar冲突的付出么?

为了有效控制jar包更新带来的未知jar引入和变动,我们经常使用dependency-tree来查看依赖关系排查问题,通常是出现问题再被动分析和排查,此时人力成本是巨大的,同时系统已出问题,没有后悔药。

2. 分析原因

jar包依赖是异变的,且隐形的,jar冲突导致的问题经常发生,研发无法每次都关注其变化。

3. 采取措施

采用“敏捷”思想,小步走,每天定时监控jar包依赖关系的变化,让风险前置,主动显现出未知的问题。

技术解决问题,CI/CD能力降低研发成本,每天23:00定时自动执行,All研发每天关注 jar doc change ~

—— 我们将依赖树作为文件进行git版本控制,同时维护到CI上自动管控jar依赖关系的变更,这样可以即时发现依赖关系的变动。流水线定时每日触发扫描依赖树,保证每日最新,发现有变动即时发起doc变更,当研发关注到mr后,可以查看前一日是who改动了what,有效管理jar包。

4. 实践步骤

4.1 创建Makefile文件

根目录:doc/dependency-tree.txt 空文件

Makefile

dependency-tree:
	@mvn clean -U package -Dmaven.test.skip=true dependency:tree -Dverbose -DoutputFile=target/dependency-tree.txt --settings settings.xml
	@grep -v 'omitted for' wms-outbound-web/target/dependency-tree.txt | grep -vw "tests" | grep -vw "test" | sed -e 's/TEST-SNAPSHOT/SNAPSHOT/g' > doc/dependency-tree.txt
	@git add doc/dependency-tree.txt
	@git commit -m "fix: [CI make dependency-tree]依赖树变更"
	@git push origin HEAD:master





settings.xml

<?xml version="1.0" encoding="UTF-8"?>
<settings
        xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd"
        xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
    <localRepository>./maven/repository</localRepository>
    <profiles>
        <profile>
            <id>Repository</id>
            <repositories>
                <repository>
                    <id>nexus</id>
                    <name>local private nexus</name>
                    <url>***</url>
                    <releases>
                        <enabled>true</enabled>
                    </releases>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                </repository>
                <repository>
                    <snapshots>
                        <enabled>false</enabled>
                    </snapshots>
                    <id>central</id>
                    <name>libs-releases</name>
                    <url>***</url>
                </repository>
                <repository>
                    <snapshots>
                        <updatePolicy>always</updatePolicy>
                    </snapshots>
                    <id>snapshots</id>
                    <name>libs-snapshots</name>
                    <url>***</url>
                </repository>
            </repositories>
        </profile>
    </profiles>
    <activeProfiles>
        <activeProfile>***</activeProfile>
    </activeProfiles>
</settings>






4.2 修改gitignore文件

  • gitignore添加内容
/maven


4.3 配置bamboo

选择定时触发的流水线(master流水线)配置

在「下载代码」原子和「Maven构建」原子中间增加原子:「自定义脚本」(必须此顺序)

Shell代码块:

cd ${globalParams.system.APP_IDENTIFIER}
make


  • 流程控制选择:失败继续(原因:CI修改代码需要mr评审,所以评审机制会导致push失败,无碍)

4.4 配置coding

增加xn_testdev_ci账号 master权限,同时增加到保护分支列表权限中

5. 实现效果

5.1 bamboo日志

运行完毕可以看到日志success,push发起评审即可

5.2 coding MR记录

可以查看到bamboo账号「测试开发_持续集成」发起的mr,评审即可(只改动依赖树文件)

6. 效能提升

2021/10/19~至今,此实践 发现42次依赖变动,其中7次发现了代码问题(研发已即时处理,否则每次未知的依赖变动都对应 >1 的研发成本)

效能量化 模拟:2021/10/19~至今

提效前(/人天) 提效后(/人天)
出现jar包冲突问题第1次 2(今日发现,问题jar已引入半年之久,人力排查成本代价巨大) 0.1(已前置发现异常并处理,早期成本代价极低,此冲突被避免)
出现jar包冲突问题第2次 2.5(明日发现,需要mvn依赖树一一排查,发现jar引入更早,成本更大) 0.5(即时出现冲突,分析doc的git history直接定位引入变动)
出现jar包冲突问题第3次 3(多日后发现,问题jar已无法溯源引入时机,依赖关系混乱,只能研发互相询问,回忆) 0.5(同上,doc git history定位引入变动)
...... ...... ......
出现jar包冲突问题n次以上,总成本计算 >2*n <0.5*n

7. 简要总结

【jar包冲突】是每个code repo和每位研发的难题 !

  • 如果我们「可以将问题避免、可以将风险前置」,那后期「维护成本必然是降低的,日常效能必然是提升的」
  • 利用CI/CD机制,将jar包依赖树作为doc文件管控到git中,将每一次变动都记录快照,按照“敏捷”思想拆解迭代(周期是每天23:00定时)自动扫描依赖关系,最早发现最早处理,别再被动了,主动出击吧!

作者:京东物流 周奕儒

来源:京东云开发者社区 自猿其说Tech 转载请注明出处

与利用CI机制管控jar依赖树相似的内容:

利用CI机制管控jar依赖树

你还记得你排查jar冲突的付出么?为了有效控制jar包更新带来的未知jar引入和变动,我们经常使用dependency-tree来查看依赖关系排查问题,通常是出现问题再被动分析和排查,此时人力成本是巨大的,同时系统已出问题,没有后悔药。

我们从 CircleCI 安全事件获得的3个经验教训

CircleCI 作为业内最受欢迎的 CI/CD 平台提供商之一,有超过20万个 DevOps 团队使用其平台。该公司在今年1月在其官网报告了一起安全事件引起客户恐慌。在此事件中,有身份不明的恶意攻击者入侵了一名员工的笔记本电脑,利用恶意软件窃取了员工的 2FA 支持的单点登陆会话 cookie,使

利用FastAPI和OpenAI-Whisper打造高效的语音转录服务

最近好久没有写博客了,浅浅记录下如何将OpenAI-Whisper做成Web服务吧 介绍 在这篇指导性博客中,我们将探讨如何在Python中结合使用FastAPI和OpenAI-Whisper。OpenAI-Whisper是一个前沿的语音识别模型,而FastAPI是一个高性能的现代Web框架,专

利用SpringBoot+rabbitmq 实现邮件异步发送,保证100%投递成功

在之前的文章中,我们详细介绍了 SpringBoot 整合 mail 实现各类邮件的自动推送服务。 但是这类服务通常不稳定,当出现网络异常的时候,会导致邮件推送失败。 本篇文章将介绍另一种高可靠的服务架构,实现邮件 100% 被投递成功。类似的短信自动发送等服务也大体相同。 一、先来一张流程图 本文

利用Wireshark抓包分析DNS域名解析过程

一、DNS协议概述 DNS协议也可以称为DNS服务,全称是Domain Name System,即域名系统,和HTTP协议一样,也是一个位于应用层的协议(服务),它是基于运输层的UDP协议的。从DNS的名字我们就可以知道,它提供域名映射到IP地址的服务。 二、实验目的 掌握DNS域名解析过程 熟悉D

利用大型语言模型轻松打造浪漫时刻

在这篇文章中,我们介绍了如何利用大型语言模型为情人节营造难忘的氛围。通过上传图片并进行风格转化,我们可以为对方呈现一幅独特的作品,增添浪漫的色彩。同时,借助搜索功能,我们能够轻松获取与情人节相关的信息,为策划活动提供更多灵感和建议。

利用英特尔 Gaudi 2 和至强 CPU 构建经济高效的企业级 RAG 应用

检索增强生成 (Retrieval Augmented Generation,RAG) 可将存储在外部数据库中的新鲜领域知识纳入大语言模型以增强其文本生成能力。其提供了一种将公司数据与训练期间语言模型学到的知识分开的方式,有助于我们在性能、准确性及安全隐私之间进行有效折衷。 通过本文,你将了解到英特

利用深度循环神经网络对心电图降噪

具体的软硬件实现点击 http://mcu-ai.com/ MCU-AI技术网页_MCU-AI 我们提出了一种利用由长短期记忆 (LSTM) 单元构建的深度循环神经网络来降 噪心电图信号 (ECG) 的新方法。该网络使 用动态模型 ECG 生成的合成数据进行预训 练,并使用来自 Physionet

利用pearcmd实现裸文件包含

title: 利用pearcmd实现裸文件包含 tags: [web,文件包含] categories: [CTF,web] 利用pearcmd实现裸文件包含 在 ctf 中,常常有这样一类题: 题目很简单,一般围绕一个 include 函数展开。 例: ctfshow 元旦水友赛 easy_inc

利用pip/conda安装库时,出现requires XXX, which is not installed/incompatible

博客地址:https://www.cnblogs.com/zylyehuo/ 出现以下提示警告时 step1 step2 step3 总结 利用pip/conda安装库时,出现requires XXX, which is not installed/incompatible 依次执行安装所缺的库即可