本文详细讲解了Jenkins的安装与配置、构建作业、流水线、构建、测试和部署的具体方法,涵盖关键概念、详细步骤及代码示例,旨在帮助专业从业者实现高效的CI/CD自动化流程。
关注作者,复旦博士,分享云服务领域全维度开发技术。拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕博,复旦机器人智能实验室成员,国家级大学生赛事评审专家,发表多篇SCI核心期刊学术论文,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。
Jenkins是一个开源的自动化服务器,广泛用于持续集成(Continuous Integration, CI)和持续交付/部署(Continuous Delivery/Deployment, CD)的自动化工作流。Jenkins由Java编写,支持通过大量插件来扩展功能。自2004年发布以来,Jenkins已经成为业界最流行的CI/CD工具之一。
持续集成是一种软件开发实践,开发人员经常将代码集成到共享代码库中。每次集成后,自动构建和测试,尽早发现和解决问题。持续交付进一步扩展了这一理念,确保代码在任何时候都可以安全地部署到生产环境中。
Jenkins最初由Kohsuke Kawaguchi在2004年创建,最初命名为Hudson。由于商标争议,项目在2011年分叉为Jenkins和Hudson,Jenkins成为主流项目。多年来,Jenkins不断发展,增加了许多新功能,特别是在插件生态系统和Pipeline(流水线)支持方面。
通过自动化构建、测试和部署流程,Jenkins帮助团队提高开发效率,减少人为错误,缩短交付周期。自动化CI/CD使得开发人员可以专注于代码开发,而不是手动执行重复性任务。
自动化测试是CI/CD的核心部分。每次代码变更都会触发一系列自动化测试,确保代码的正确性和质量。通过持续反馈,开发人员可以及时发现和修复问题,减少代码缺陷。
Jenkins提供实时反馈机制,使得开发人员能够在早期阶段发现问题。这种快速反馈机制有助于团队在开发过程中进行快速迭代,改进功能和修复错误。
Jenkins拥有丰富的插件生态系统,可以通过插件集成各种工具和服务,如版本控制系统(Git, SVN等)、构建工具(Maven, Gradle等)、测试框架(JUnit, TestNG等)、部署工具(Docker, Kubernetes等)。这些插件使得Jenkins可以适应不同的开发环境和需求。
Jenkins的可扩展性和灵活性使其能够适应各种规模和复杂度的项目。通过配置和自定义,用户可以创建复杂的CI/CD流水线,满足各种特定需求。
Jenkins支持分布式构建,可以将构建任务分发到多个节点上运行。这种分布式架构提高了构建效率,缩短了构建时间,适合大规模项目和团队协作。
作为开源项目,Jenkins拥有活跃的社区和广泛的用户基础。丰富的社区资源、文档和支持使得用户可以方便地获取帮助和解决问题。
Jenkins最常用于实现CI/CD,通过自动化构建、测试和部署流程,提高开发效率和代码质量。
除了CI/CD,Jenkins还可以用于自动化各种任务,如数据处理、报告生成、系统监控等。通过配置不同的任务,Jenkins可以成为团队的自动化助手。
Jenkins支持多种编程语言和平台,可以用于Java、Python、Node.js、.NET等项目的CI/CD流程。其灵活性和可扩展性使得Jenkins可以适应各种技术栈和开发环境。
Jenkins的安装相对简单,可以在多种操作系统和环境下进行,包括Linux、Windows和Docker。本节将详细介绍在这些环境中的安装步骤。
在Linux系统中,Jenkins可以通过包管理器或手动安装。以下以Ubuntu为例,介绍使用包管理器安装Jenkins的步骤。
确保系统已更新:
sudo apt update
sudo apt upgrade
安装Java运行环境(Jenkins依赖Java):
sudo apt install openjdk-11-jdk
添加Jenkins仓库并导入密钥:
curl -fsSL https://pkg.jenkins.io/debian/jenkins.io.key | sudo tee \
/usr/share/keyrings/jenkins-keyring.asc > /dev/null
sudo sh -c 'echo deb [signed-by=/usr/share/keyrings/jenkins-keyring.asc] \
https://pkg.jenkins.io/debian binary/ > \
/etc/apt/sources.list.d/jenkins.list'
安装Jenkins:
sudo apt update
sudo apt install jenkins
启动并设置Jenkins开机自启动:
sudo systemctl start jenkins
sudo systemctl enable jenkins
在Windows系统中,Jenkins提供了安装包,便于用户安装和配置。
下载Jenkins安装包:
从Jenkins官方网站下载Windows安装包。
运行安装程序:
双击下载的安装包,按照安装向导的提示完成安装。
设置Jenkins服务:
安装完成后,Jenkins会自动以Windows服务的形式运行,用户可以通过服务管理器管理Jenkins服务。
使用Docker安装Jenkins可以简化环境配置,并便于管理和部署。
安装Docker:
sudo apt update
sudo apt install docker.io
启动并设置Docker开机自启动:
sudo systemctl start docker
sudo systemctl enable docker
拉取Jenkins镜像:
docker pull jenkins/jenkins:lts
启动Jenkins容器:
docker run -d -p 8080:8080 -p 50000:50000 -v jenkins_home:/var/jenkins_home --name jenkins jenkins/jenkins:lts
安装完成后,需要进行初始配置来确保Jenkins正常运行,并适应项目需求。
在浏览器中访问Jenkins:
http://<your_server_ip>:8080
解锁Jenkins:
安装完成后,Jenkins会生成一个初始管理员密码。使用以下命令找到密码:
sudo cat /var/lib/jenkins/secrets/initialAdminPassword
首次登录Jenkins时,系统会提示安装推荐插件。建议安装这些插件,以便获得基础功能和更好的体验。
在完成初始配置后,可以根据项目需求对Jenkins进行进一步配置。
进入系统设置:
在Jenkins主界面,点击“Manage Jenkins” > “Configure System”。
配置JDK、Git等工具路径:
根据项目需求配置JDK、Git等工具的路径,以便Jenkins能够调用这些工具。
进入邮件通知设置:
在“Configure System”页面,找到“Jenkins Location”和“Extended E-mail Notification”部分。
配置SMTP服务器:
输入SMTP服务器地址、端口、用户名和密码,确保Jenkins能够发送邮件通知。
Jenkins通过插件扩展其功能,插件管理是Jenkins配置的重要部分。
进入插件管理页面:
在Jenkins主界面,点击“Manage Jenkins” > “Manage Plugins”。
安装插件:
在“Available”选项卡中,搜索需要的插件,勾选并点击“Install without restart”或“Download now and install after restart”。
更新插件:
在“Updates”选项卡中,勾选需要更新的插件,点击“Download now and install after restart”。
Git插件用于与Git版本控制系统集成,支持从Git仓库拉取代码、触发构建等功能。
Pipeline插件用于定义和运行复杂的CI/CD流水线,支持Declarative和Scripted两种语法,便于用户配置和管理流水线。
Blue Ocean插件提供了现代化的Jenkins用户界面,简化了流水线的配置和可视化,使用户体验更友好。
Jenkins提供了灵活的用户和权限管理机制,确保系统安全性和操作规范性。
创建用户:
在Jenkins主界面,点击“Manage Jenkins” > “Manage Users” > “Create User”,输入用户名、密码和邮箱地址,完成用户创建。
修改用户信息:
在“Manage Users”页面,点击相应用户,修改其信息并保存。
进入权限配置页面:
在Jenkins主界面,点击“Manage Jenkins” > “Configure Global Security”。
配置权限策略:
在“Authorization”部分,选择“Matrix-based security”或“Role-based strategy”,根据需要分配不同用户或用户组的权限。
启用安全设置:
在“Configure Global Security”页面,勾选“Enable security”,选择安全域和权限策略,确保Jenkins系统的安全性。
配置安全域:
根据需求配置LDAP、JIRA、GitHub等外部安全域,以实现统一身份认证和权限管理。
在Jenkins中,构建作业(Build Job)是指一系列自动化任务的集合,这些任务可以包括代码的编译、测试、打包、部署等。构建作业是Jenkins的核心功能,通过配置构建作业,可以实现持续集成和持续交付的自动化流程。
Jenkins支持多种类型的构建作业,包括:
创建和配置作业是使用Jenkins的第一步,下面将详细介绍如何创建和配置一个自由风格项目。
进入新建作业页面:
在Jenkins主界面,点击“新建任务”(New Item)。
输入作业名称:
输入作业名称,选择“自由风格项目”(Freestyle Project),然后点击“确定”。
配置作业:
进入作业配置页面,填写相关配置项。
在作业配置页面,配置源码管理选项,指定代码仓库地址和分支信息。
选择源码管理类型:
在“源码管理”部分,选择版本控制系统类型(如Git、Subversion等)。
配置Git仓库:
https://github.com/your-repository.git
*/main
配置构建触发器,指定在何种情况下触发构建。
选择触发器类型:
在“构建触发器”部分,选择合适的触发器类型,如“定时触发”(Build periodically)或“轮询SCM”(Poll SCM)。
配置定时触发:
H/15 * * * *
表示每15分钟触发一次构建。在“构建”部分,添加构建步骤,定义具体的构建任务。
添加构建步骤:
点击“添加构建步骤”(Add build step),选择适当的构建步骤类型,如“执行Shell命令”(Execute shell)或“调用Ant”(Invoke Ant)。
配置Shell命令:
输入需要执行的Shell命令,如:
echo "Building the project"
mvn clean install
配置构建后操作,以便在构建完成后执行特定任务。
添加构建后操作:
在“构建后操作”部分,点击“添加构建后操作”(Add post-build action),选择合适的操作类型,如“发布JUnit测试结果”(Publish JUnit test result report)或“发送构建通知”(Email Notification)。
配置JUnit测试结果发布:
**/target/surefire-reports/*.xml
配置邮件通知:
dev-team@example.com
Jenkins提供了许多高级配置选项,可以根据项目需求进行定制。
参数化构建允许在触发构建时输入参数,动态改变构建行为。
启用参数化构建:
在作业配置页面,勾选“此项目是参数化的构建过程”(This project is parameterized)。
添加参数:
使用参数:
在构建步骤中使用参数:
echo "Building with parameter: ${PARAM_NAME}"
配置构建环境,可以为构建步骤提供特定的环境配置。
添加构建环境:
在作业配置页面,找到“构建环境”部分,选择需要的环境配置,如“使用Secret文本、文件或脚本”(Use secret text(s) or file(s))或“在Unix机器上运行”(Run on Unix machine)。
配置环境变量:
在构建步骤中使用环境变量:
echo "Using environment variable: ${ENV_VAR}"
以下是一个完整的自由风格项目配置示例,包括源码管理、构建触发器、构建步骤和构建后操作。
创建项目:
SampleProject
配置源码管理:
https://github.com/sample-repo.git
*/main
配置构建触发器:
H/15 * * * *
添加构建步骤:
echo "Building the project"
mvn clean install
添加构建后操作:
**/target/surefire-reports/*.xml
dev-team@example.com
手动触发构建:
在项目页面,点击“立即构建”(Build Now),手动触发一次构建。
查看构建结果:
在项目页面,点击最新构建记录,查看控制台输出、测试报告和构建状态。
在Jenkins中,流水线(Pipeline)是一种基于脚本的自动化工作流,允许用户定义一系列连续或并行的构建步骤。这种方式比传统的自由风格项目更灵活和强大,能够更好地适应复杂的CI/CD流程。Jenkins Pipeline使用Groovy DSL(Domain Specific Language)来编写脚本,可以精确地控制每个构建步骤的执行。
Jenkins Pipeline主要有两种类型:
Declarative Pipeline使用更简洁和结构化的语法,适合大多数用户。其主要特点是通过明确的块结构来定义流水线的各个部分。
Declarative Pipeline的基本结构如下:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
}
}
stage('Test') {
steps {
echo 'Testing...'
}
}
stage('Deploy') {
steps {
echo 'Deploying...'
}
}
}
}
agent
定义流水线中构建步骤运行的环境。常见的配置包括:
agent any
:在任意可用节点上运行。agent none
:不指定节点,需要在每个stage
中单独定义。agent { label 'my-node' }
:在指定标签的节点上运行。stages
块包含一个或多个stage
,每个stage
代表流水线的一个阶段。steps
块定义每个阶段中具体执行的构建步骤。
以下是一个完整的Declarative Pipeline示例,包括构建、测试和部署三个阶段:
pipeline {
agent any
environment {
BUILD_ENV = 'production'
}
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
stage('Test') {
steps {
echo 'Testing...'
sh 'mvn test'
}
}
stage('Deploy') {
steps {
echo 'Deploying...'
sh 'scp target/*.jar user@server:/deploy/path'
}
}
}
post {
success {
echo 'Pipeline succeeded!'
}
failure {
echo 'Pipeline failed!'
}
}
}
post
块定义在流水线完成后执行的操作,根据流水线的状态执行不同的任务。
Scripted Pipeline提供更灵活的编程能力,适合复杂的CI/CD流程。它使用完整的Groovy语法,可以在Pipeline中使用所有Groovy的特性。
Scripted Pipeline的基本结构如下:
node {
try {
stage('Build') {
echo 'Building...'
sh 'mvn clean install'
}
stage('Test') {
echo 'Testing...'
sh 'mvn test'
}
stage('Deploy') {
echo 'Deploying...'
sh 'scp target/*.jar user@server:/deploy/path'
}
} catch (Exception e) {
currentBuild.result = 'FAILURE'
throw e
} finally {
if (currentBuild.result == 'FAILURE') {
echo 'Pipeline failed!'
} else {
echo 'Pipeline succeeded!'
}
}
}
node
块定义一个节点的上下文,所有构建步骤都在这个节点上执行。
在Scripted Pipeline中,每个stage
通过stage
函数定义,构建步骤通过直接调用函数来实现。
以下是一个完整的Scripted Pipeline示例,包括构建、测试和部署三个阶段:
node {
try {
stage('Build') {
echo 'Building...'
sh 'mvn clean install'
}
stage('Test') {
echo 'Testing...'
sh 'mvn test'
}
stage('Deploy') {
echo 'Deploying...'
sh 'scp target/*.jar user@server:/deploy/path'
}
} catch (Exception e) {
currentBuild.result = 'FAILURE'
throw e
} finally {
if (currentBuild.result == 'FAILURE') {
echo 'Pipeline failed!'
} else {
echo 'Pipeline succeeded!'
}
}
}
Jenkins Pipeline提供了许多高级特性,可以用来构建复杂的CI/CD工作流。
通过parallel
指令,可以并行执行多个任务,提高流水线的效率。
pipeline {
agent any
stages {
stage('Parallel Tasks') {
parallel {
stage('Task 1') {
steps {
echo 'Running Task 1...'
}
}
stage('Task 2') {
steps {
echo 'Running Task 2...'
}
}
}
}
}
}
通过parameters
指令,可以在流水线启动时输入参数,动态改变流水线的行为。
pipeline {
agent any
parameters {
string(name: 'BRANCH', defaultValue: 'main', description: 'Branch to build')
}
stages {
stage('Build') {
steps {
echo "Building branch: ${params.BRANCH}"
sh "git checkout ${params.BRANCH}"
sh 'mvn clean install'
}
}
}
}
通过withCredentials
指令,可以安全地使用凭据,在流水线中执行需要身份验证的操作。
pipeline {
agent any
stages {
stage('Deploy') {
steps {
withCredentials([usernamePassword(credentialsId: 'deploy-creds', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD')]) {
sh 'scp -o User=${USERNAME} -o Password=${PASSWORD} target/*.jar user@server:/deploy/path'
}
}
}
}
}
通过流水线,可以自动化代码的构建、测试和合并,提高开发效率和代码质量。
流水线可以将构建好的应用自动部署到测试环境和生产环境,确保应用的持续交付和部署。
结合自动化测试和监控,流水线可以实现应用的持续部署,确保每次代码变更都能安全地部署到生产环境。
构建是软件开发流程中的关键环节,它将源代码转换为可执行的二进制文件。在Jenkins中,构建步骤可以自动化执行,确保每次代码变更后都能快速生成最新的构建产物。
不同的项目使用不同的构建工具。Jenkins支持多种构建工具,包括:
在Jenkins中配置构建步骤以自动化构建过程。以下是使用Maven构建Java项目的示例:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
}
}
构建触发器用于定义何时启动构建。常见的触发器包括:
配置SCM轮询触发器示例:
pipeline {
agent any
triggers {
pollSCM('H/15 * * * *')
}
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
}
}
测试是确保代码质量的重要环节。通过自动化测试,可以在代码变更后立即验证代码的正确性,减少缺陷进入生产环境的风险。
在Jenkins中配置测试步骤以自动化测试过程。以下是使用JUnit运行Java项目单元测试的示例:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
stage('Test') {
steps {
echo 'Testing...'
sh 'mvn test'
}
}
}
}
发布测试报告以便于查看测试结果和分析测试覆盖率。在Jenkins中,可以使用JUnit插件发布测试报告:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
stage('Test') {
steps {
echo 'Testing...'
sh 'mvn test'
}
}
}
post {
always {
junit '**/target/surefire-reports/*.xml'
}
}
}
通过集成代码质量分析工具,可以进一步提高代码质量。常用的工具包括:
配置SonarQube代码质量分析示例:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
stage('Test') {
steps {
echo 'Testing...'
sh 'mvn test'
}
}
stage('Code Quality') {
steps {
echo 'Analyzing code quality...'
sh 'mvn sonar:sonar'
}
}
}
post {
always {
junit '**/target/surefire-reports/*.xml'
}
}
}
部署是将构建产物发布到目标环境(如开发、测试或生产环境)的过程。在Jenkins中,可以配置自动化部署步骤,以实现持续交付或持续部署。
在Jenkins中配置部署步骤以自动化部署过程。以下是使用scp将构建产物部署到远程服务器的示例:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
stage('Test') {
steps {
echo 'Testing...'
sh 'mvn test'
}
}
stage('Deploy') {
steps {
echo 'Deploying...'
sh 'scp target/*.jar user@server:/deploy/path'
}
}
}
post {
always {
junit '**/target/surefire-reports/*.xml'
}
}
}
集成部署自动化工具可以简化和标准化部署过程。常用的工具包括:
使用Ansible进行自动化部署的示例:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
stage('Test') {
steps {
echo 'Testing...'
sh 'mvn test'
}
}
stage('Deploy') {
steps {
echo 'Deploying...'
sh 'ansible-playbook -i inventory/production deploy.yml'
}
}
}
post {
always {
junit '**/target/surefire-reports/*.xml'
}
}
}
通过配置Jenkins流水线,实现持续交付(Continuous Delivery)或持续部署(Continuous Deployment):
部署监控是确保部署过程顺利进行和运行状态良好的重要环节。常用的监控工具包括:
集成Prometheus和Grafana进行部署监控的示例:
pipeline {
agent any
stages {
stage('Build') {
steps {
echo 'Building...'
sh 'mvn clean install'
}
}
stage('Test') {
steps {
echo 'Testing...'
sh 'mvn test'
}
}
stage('Deploy') {
steps {
echo 'Deploying...'
sh 'ansible-playbook -i inventory/production deploy.yml'
}
}
}
post {
always {
junit '**/target/surefire-reports/*.xml'
script {
echo 'Monitoring deployment...'
sh 'prometheus --config.file=/etc/prometheus/prometheus.yml'
sh 'grafana-server --config=/etc/grafana/grafana.ini'
}
}
}
}
通过详细配置构建、测试和部署步骤,Jenkins能够实现端到端的自动化CI/CD流程。自动化构建确保代码变更后能够快速生成构建产物,自动化测试保证代码质量,自动化部署将构建产物发布到目标环境,从而实现持续交付和持续部署。结合监控工具,可以对部署过程和运行状态进行实时监控,确保系统的稳定性和可靠性。
如有帮助,请多关注
TeahLead KrisChang,10+年的互联网和人工智能从业经验,10年+技术和业务团队管理经验,同济软件工程本科,复旦工程管理硕士,阿里云认证云服务资深架构师,上亿营收AI产品业务负责人。