其他分享
首页 > 其他分享> > docker gitlab版本管理和CI/CD 自动部署go

docker gitlab版本管理和CI/CD 自动部署go

作者:互联网

一、docker中安装gitlab

#先拉取镜像
docker pull gitlab/gitlab-ce:latest

#运行镜像
docker run -d -p 443:443 -p 80-100:80-100 -p 22:22  --name gitlab  --restart always   --v D:/docker/gitlab/config:/etc/gitlab  -v D:/docker/gitlab/logs:/var/log/gitlab   --v D:/docker/gitlab/data:/var/opt/gitlab  gitlab/gitlab-ce:latest

# 22端口对应的是 ssh  80-100表示80-100之间的所有端口
# -d:后台运行
# -p:将容器内部端口向外映射
# --name:命名容器名称
# -restart always 表示一直开机启动,docker启动就会启动
# -v:将容器内目录挂载到宿主机指定目录

  安装成功后,打开浏览器输入本地IP即可打开页面

    管理员默认是root,第一次登陆的时候需要设置密码

  进入容器内部

 docker exec -it gitlab /bin/bash

  然后输入命令

gitlab-rails console

  

  弹出 Loading production environment 后,在下面逐步输入:

1、【user=User.where(id:1).first】 查出指定修改的用户,1 为root

2、【user.password='abc123456'】 需要设置的密码

3、【user.password_confirmation='abc123456'】  确认上面输入的密码

4、【user.save!】 保存

  

  有了账号登陆进去后,可以在右上角设置里面设置成中文界面。别的用户想要登录,直接页面注册,然后后台审核用户就行。

   新建一个群组,把用户添加进组里面,新建一个git项目指定给某个群组

  额外配置

  gitlab创建项目的时候,默认的git地址是容器本机的IP地址,可以改成一个虚拟主机,修改配置文件 D:\docker\gitlab\config\gitlab.rb 里面的 external_url

external_url 'http://git.xxx.com'

  重启gitlab

#在gitlab内部重启加载配置
gitlab-ctl reconfigure
gitlab-ctl  restart

  

二、安装gitlab-runner CI/CD自动部署

持续集成 CI(Continuous Integration):在源代码变更后,触发自动检测、构建和测试的过程。在代码提交后,会自动进行构建和测试,并反馈结果。当结果符合预期时,再将代码集成到主干。持续集成的目标是快速确保当前变更是可用的。

持续交付 CD(Continuous Delivery):是基于持续集成基础上,将集成后的代码自动化部署到各个环境测试,确定可以发布生产版本。

持续部署 CD(Continuous Deployment):是基于持续交付的基础上,将在各个环境经过测试的应用自动化部署到生产环境。其实各个环境的发布过程都是一样的。应用发布到生产环境后,我们需要对应用进行健康检查、添加应用的监控项、 应用日志管理。

 

1. 安装并运行gitlab-runner

GiTLab Runner是一个脚本运行器,类似于Jenkins,可以为我们执行一些CI持续集成、构建的脚本任务(即.gitlab-ci.yml),运行器具有执行脚本、调度、协调的工作能力。

#拉去镜像
gitlab/gitlab-runner:latest

#运行容器
docker run -d --name gitlab-runner --restart always  -v D:/docker/gitlab/gitlab-runner/config:/etc/gitlab-runner  -v /var/run/docker.sock:/var/run/docker.sock  gitlab/gitlab-runner:latest  

映射/var/run/docker.sock这个文件是为了让容器可以通过/var/run/docker.sockDocker守护进程通信,管理其他Docker容器,因为docker daemon进程默认监听的是/var/run/docker.sock这个文件,所以docker客户端只要把请求命令发往这里,daemon就能收到并且做出响应。这个命令将外部docker客户端的/var/run/docker.sock映射给了内部docker客户端,使内部docker客户端也可以访问外部的docker daemon服务。否则后面注册如果选择了docker作为执行器时,因为是docker-in-docker模式,内部的docker将无法启动。

  -v D:/docker/gitlab/gitlab-runner/config:/etc/gitlab-runner 是将runner的配置文件映射到宿主机/home/gitlab-runner/config方便调整和查看配置

安装完成我们需要去注册Gitlab-Runner。

2. 将gitlab项目或组注册到gitlab-runner

打开gitlab后台某个项目里面的设置,打开runner,获取配置信息

  开始注册runner
#首先进入runner容器
docker exec -it gitlab-runner bash

#开始注册
gitlab-runner register -n  --url https://gitlab.com/  --registration-token REGISTRATION_TOKEN  --executor docker   --description "My Docker Runner"  --docker-image "docker:19.03.12"  --docker-privileged   --docker-volumes "/certs/client"

#url:后台设置里面的url
#token:后台设置里面的token
#executer:使用docker
#docker-image:docker镜像,一定要使用19.03.12的版本

  执行成功后,查看一下生成出来的配置文件,在目录  D:/docker/gitlab/gitlab-runner/config 下的config.toml

concurrent = 1
check_interval = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "d25fbd515fd7"
  url = "http://192.168.1.106/"
  token = "osaKgBGS7yausc5t4KTg"
  executor = "docker"
  [runners.custom_build_dir]
  [runners.cache]
    [runners.cache.s3]
    [runners.cache.gcs]
    [runners.cache.azure]
  [runners.docker]
    tls_verify = false
    image = "docker:19.03.12"
    privileged = true
    disable_entrypoint_overwrite = false
    oom_kill_disable = false
    disable_cache = false
    volumes = ["/var/run/docker.sock:/var/run/docker.sock", "/cache","/certs/client"]
    shm_size = 0
   pull_policy="if-not-present"  #选择优先使用本地缓存的镜像还是拉取最新的镜像,官方有比较详细的解释。默认为always,在断网或者想要加快ci执行的速度时貌似可以设置if-not-present。

  上面配置完成之后,打开后台设置CI/CD就可以看见一个可用的runner了

 

 三、在项目根目录创建一个runner执行文件

配置好runner后,我们把这个项目使用git拉下来本地,然后在项目根目录创建两个文件,一个是  【.gitlab-ci.yml】,一个是【Dockerfile】

.gitlab-ci.yml

打包运行一个go语言的项目
image: golang:1.18.1

stages: # 分段
  - build
  - deploy

cache: # 缓存
  paths:
    - dist

variables:
  DOCKER_TLS_CERTDIR: "/certs"
  

job_build:
  tags:
    - go
  stage: build
  script:
    - go env -w GOPROXY=https://goproxy.cn,direct
    - go build -o dist/main
    - ls -l
    - pwd

job_deploy:
  tags:
    - go
  image: docker:19.03.12
  only:
    - develop 
  services:
    - docker:19.03.12-dind
  stage: deploy
  script:
    - docker build -t goproject .
    - if [ $(docker ps -aq --filter name=goapp) ]; then docker rm -f goapp;fi   #如果存在运行的容器则删除重建
    - docker run -e TZ="Asia/Shanghai" -d -p 980:80 --name goapp goproject
打包运行一个node项目
image: node:16.14

stages: # 分段
  - install
  - build
  - deploy

cache: # 缓存
  paths:
    - node_modules
    - dist

variables:
  DOCKER_TLS_CERTDIR: "/certs"
  

job_install:
  tags:
    - web
  stage: install
  script:
    - npm install vue --save
    - npm install vue-router
    - npm install

job_build:
  tags:
    - web
  stage: build
  script:
    - npm install vue --save
    - npm install vue-router
    - npm run build

job_deploy:
  tags:
    - web 
  image: docker:19.03.12
  only:
    - develop 
  services:
    - docker:19.03.12-dind
  stage: deploy
  environment:
    name: web_test
    url: http://192.168.1.106:8080/
  script:
    - docker build -t appimages .
    - if [ $(docker ps -aq --filter name=app-container) ]; then docker rm -f app-container;fi
    - docker run -d -p 8880:80 -p 8080:8080 --name app-container appimages
参数说明  
stages
  例子中 stages 值为一个数组(p.s. 用 - 代表数组和 markdown 类似)。包含了三个 job,test, build, deploy分别实现自动测试,打包项目和部署。下方的 stage 必须在全局定义的 stages 内。
variables
  值为键值对象,为了后续的流程,此处定义了开发项目和部署项目的 namespace 和 repo_name。同 shell 类似,后续使用其值需要加上 $ 符号。定义的变量也有对应的作用域,定义在顶层就可以作为全局变量供所有 job 使用,如果是一些 job 特有的变量,就定义在 job 内部。
before_script
  值为数组,每一个元素其实就是一个 linux 命令,写的时候装作自己在写 shell 就好。该部分主要生成了后续构建需要的镜像标签,切换当前目录等。为了 debug 方便,这些变量最好打印。类似的,如果在 job 完成后有一些时候操作,可以定义 after_script。需要注意的是如果定义在顶层,内部的命令会在每个 job 运行之前执行,如果某些 job 需要特别的预操作,可以在 job 内部再配置一个 before_script 对象,它会复写外部的全局预操作。
test_stage
  名为 test 的 job 的具体配置,一般是个复合对象。
cache
  保留上一阶段的文件数据 stage   job 对应的 stage,如果有多个 job 对应同一个 stage,在执行时会并行执行这些 job。 script   这个 job 执行的命令,此处是进入的项目仓库目录,并且执行了一个 shell 脚本,这个脚本定义了执行项目的所有单元测试。一般建议如果要执行的命令过多,就把这些命令写成脚本放在项目内。CICD 流程直接执行这个脚本。 build_stage   该步骤在测试通过的基础上,把项目编译打包,方便后续部署。 tag   用来选择该标签对应的注册runner的实例,可以在gitlab后台设置指定 only   only 指明了 job 的执行场景,可以是分支名,表明只有 master 分支可以执行 build,如果要用排除法反向指定,可以用 except。 

Dockefile文件

FROM golang:1.18.1  #拉取一个镜像
EXPOSE 8080 80  #对外暴露端口
WORKDIR /go/   #定义工作目录,没有则创建
COPY . /go/    #复制文件
COPY dist/main main   
CMD ./main  容器启动后执行命令

  

4、git commit、push 提交代码查看结果

 

打开docker ps查看也会发现有一个容器在运行,后续每次提交都会自动构建发布,一个简单的CI/CD就完成了

标签:CI,runner,gitlab,CD,--,job,build,docker
来源: https://www.cnblogs.com/pangxiaox/p/16224339.html