使用Java统计gitlab代码行数

使用,java,统计,gitlab,代码,行数 · 浏览次数 : 15

小编点评

**脚本实现：** ```bash #!/bin/bash # git仓库地址 URL="gitlab仓库地址" # 用户token TOKEN="用户的token" # 项目名称计数器文件路径 PROJECT_COUNT_FILE="projectCount.txt" # 获取所有项目信息 projects = $(curl -X GET "$URL/api/v4/projects.json" -H "Authorization: Bearer $TOKEN") # 记录项目信息 echo -e "项目名称,代码行数,项目地址\n" > "$PROJECT_COUNT_FILE" # 统计代码行数 for project in $projects; do project_data=$(curl -X GET "$URL/$project/wiki/count.json" -H "Authorization: Bearer $TOKEN") code_count=$(echo $project_data | jq -r '.count') echo "$project,$code_count,${project}" >> "$PROJECT_COUNT_FILE" done # 打印项目信息 echo "项目信息已保存至 $PROJECT_COUNT_FILE" ``` **使用说明：** 1. 将 `URL` 替换为您的 Git仓库的 URL。 2. 将 `TOKEN` 替换为您的 Git 用户的 token。 3. 将 `PROJECT_COUNT_FILE` 替换为您要保存项目的计数器文件的路径。 4. 启动脚本。 **注意：** * 脚本将使用 `jq` 解析 JSON 数据。如果您需要其他解析选项，请更改 `jq` 命令。 * 脚本将将所有项目的信息存储在 `projectCount.txt` 中。您可以更改文件格式或路径。

正文

一、背景：

需要对当前公司所有的项目进行代码行数的统计

二、可实现方式

1.脚本：通过git脚本将所有的项目拉下来并然后通过进行代码行数的统计

样例：

echo 创建项目对应的文件夹
mkdir 项目名称echo 切到创建的文件夹中
cd 项目名称echo 进行git初始化
git init
echo 添加远程仓库
git remote add origin 项目地址
git fetch origin
git checkout -b master origin/master
echo 切换检出的分支为master
git branch
echo 拉取项目代码
git pull origin master
echo  将项目名称追加输出到上级目录的projectCount.txt文件中注意逗号分隔
echo 项目名称, >> ../projectCount.txt
echo 使用git命令统计该项目的代码行数并将结果追加到上级目录的projectCount.txt文件中
git ls-files | xargs cat | wc -l >> ../projectCount.txt
cd ..
echo 创建项目对应的文件夹
mkdir 项目名称
...
将该代码保存成sh脚本，在gitbash命令行执行

将所有的项目进行脚本处理之后便可以得到一张项目名称，代码行数的txt文件，因为以逗号分隔故转换成csv文件后可以复制到excel中进行统计排序处理

2.通过接口：gitlab提供的有标准的API接口可以通过调用API的方式进行统计

在网上进行一番的搜索发现已经有封装好的SDK包添加maven依赖后可以直接使用

样例：

引入maven依赖，如果需要其他的版本可以到github上面找到对应的版本：https://github.com/gitlab4j/gitlab4j-api

<!--        gitlab-api SDK-->
        <dependency>
            <groupId>org.gitlab4j</groupId>
            <artifactId>gitlab4j-api</artifactId>
            <version>5.3.0</version>
        </dependency>

统计所有项目的代码行数：

    private String url = "gitlab的仓库地址";

    private String authToken = "用户的token";

    private GitLabApi gitLabAPI = new GitLabApi(url, authToken);


    /**
     * 统计每个项目的代码行数
     *
     * @throws Exception
     */
    @Test
    public void codeTotalCount() throws Exception {
        //拉取属于我的所有项目
        List<Project> projectList = gitLabAPI.getProjectApi().getOwnedProjects();
        for (Project proj : projectList) {
            String namespace = proj.getNamespace().getFullPath();
            String name = proj.getPath();
            String url = proj.getWebUrl();
            log.info("项目命名空间：{}, 项目名称：{}, 项目地址：{}", namespace, name, url);
            //获取项目信息包含statistics信息
            Project project = gitLabAPI.getProjectApi().getProject(namespace, name, true);
            ProjectStatistics projectStatistics = project.getStatistics();
            Long totalLines = projectStatistics.getRepositorySize();
            log.info("项目名称:{}, 代码行数:{}", name, totalLines);
        }
    }

统计某一段时间人员的代码行数：

    private String url = "gitlab仓库地址";

    private String authToken = "用户的token";

    private GitLabApi gitLabAPI = new GitLabApi(url, authToken);

    /**
     * 统计人员某段时间的代码行数
     *
     * @throws Exception
     */
    @Test
    public void codeAuthorCount() throws Exception {
        gitLabAPI.enableRequestResponseLogging(Level.ALL);
        List<Project> projectList = gitLabAPI.getProjectApi().getOwnedProjects();
        //获取项目中的人员信息
        List<User> userList = getMembers("in");
        log.info("查询人员列表:{}", JSON.toJSONString(userList));
        Date start = DateUtil.parse("2023-07-01 00:00:00", "yyyy-MM-dd HH:mm:ss");
        Date end = DateUtil.parse("2023-10-01 00:00:00", "yyyy-MM-dd HH:mm:ss");
        for (User user : userList) {
            Integer addCode = 0;
            Integer delCode = 0;
            Integer totalCode = 0;
            String name = user.getName();
            String userName = user.getUsername();
            String state = user.getState();
            //检查用户信息，不符合要求的用户如 blocked 可进行跳过
            if (checkUserInfo(name, state)) {
                continue;
            }
            for (Project p : projectList) {
                List<Commit> commitList = gitLabAPI.getCommitsApi().getCommits(p.getId(), "master", start, end);
                for (Commit commit : commitList) {
                    //因commit信息中没有用户的memberId信息，每个人提交信息有些缺失故进行多次判断
                    if (userName.contains(commit.getAuthorName()) ||
                            commit.getCommitterEmail().contains(userName) ||
                            commit.getAuthorEmail().contains(userName)) {
                        Commit c = gitLabAPI.getCommitsApi().getCommit(p.getId(), commit.getShortId());
                        //添加代码行数
                        addCode += c.getStats().getAdditions();
                        //删除代码行数
                        delCode += c.getStats().getDeletions();
                        //累计修改行数
                        totalCode += c.getStats().getTotal();
                    }
                }
            }
            log.info("开始时间：{},结束时间：{}，姓名：{}, 添加代码行数:{}, 删除代码行数:{}, 累计变更行数：{}", start, end, name, addCode, delCode, totalCode);
        }
    }

    private boolean checkUserInfo(String name, String state) {
        if (state.equals("blocked") ||
                name.contains("产品部") 
        ) {
            return true;
        }
        return false;
    }
    
    /**
     * 获取项目与group中的人员信息
     *
     * @param groupPath
     * @return
     * @throws Exception
     */

    private List<User> getMembers(String groupPath) throws Exception {
        List<User> userList = new ArrayList<>();

        //获取所有组路径下的人员信息
        List<Group> groupList = gitLabAPI.getGroupApi().getGroups();
        List<Project> projectList = new ArrayList<>();
        for (Group g : groupList) {
            log.info("组名称：{}， 组路径：{}", g.getDescription(), g.getFullPath());
            List<Member> members = gitLabAPI.getGroupApi().getMembers(g.getId());
            projectList.addAll(gitLabAPI.getGroupApi().getProjects(g.getId()));
            for (Member m : members) {
                if (!checkMemberExist(userList, m)) {
                    User user = gitLabAPI.getUserApi().getUser(m.getId());
                    userList.add(user);
                }
            }
        }

        //获取所有Project的人员信息
        for (Project project : projectList) {
            String name = project.getPath();
            Long id = project.getId();
            log.info("项目名称：{}, 项目Id：{}", name, id);
            List<Member> members = gitLabAPI.getProjectApi().getMembers(id);
            for (Member m : members) {
                if (!checkMemberExist(userList, m)) {
                    User user = gitLabAPI.getUserApi().getUser(m.getId());
                    userList.add(user);
                }

            }
        }
        return userList;
    }

    /**
     * 判断人员是否已经存在
     *
     * @param userList
     * @param m
     * @return
     */
    private boolean checkMemberExist(List<User> userList, Member m) {
        for (User user : userList) {
            if (user.getId().equals(m.getId())) {
                return true;
            }
        }
        return false;
    }