Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
$ ~2 \) _3 ], \+ N, a. }接着设置语言和本地化设置：
' A$ I# k! Q2 M9 Q4 @: U5 X1 L1 Qexport LC_ALL=en_US.UTF-8
1 _; u7 g) N# q  E3 B+ k) A3 \8 p  lexport LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
) F4 \4 g2 {7 I9 `! ?Recipe: gitlab::database_migrations
' `8 k3 S( h% c  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
  * rails_migration[gitlab-rails] action run
    * bash[migrate gitlab-rails database] action run
1 v& r$ ^' p9 Q, \3 \; p# ^      
      ================================================================================
8 F* w  z4 o# E9 O0 e+ A) Y      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
      ================================================================================
3 m9 v- U1 Y+ U( T      
" M  b. v) r2 V" R9 B, @; m      Mixlib::ShellOut::ShellCommandFailed
, ~, @+ v# \1 P- _6 G      ------------------------------------
! m4 U2 r- s  f% a* |% y      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
      
      Resource Declaration:
      ---------------------
" Q4 @. G3 T2 ?8 o  Y6 c0 s      suppressed sensitive resource output
+ P/ x% Z* M& S! q" k( ?3 @! \      
+ i6 X2 n/ p5 h2 H% H* s% D      Compiled Resource:
      ------------------
* s6 Y# o# T$ E! g! M1 a      suppressed sensitive resource output
      
3 _# V* z8 U! e      System Info:
+ ^1 @( ~& {+ R: F1 I, ]- @9 B      ------------
- ^' f: Z, y+ f& o1 \: `4 f      chef_version=15.17.4
( t) a. ~3 D; r/ n% @* M9 U      platform=ubuntu
      platform_version=20.04
      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
      program_name=/opt/gitlab/embedded/bin/chef-client
      executable=/opt/gitlab/embedded/bin/chef-client
/ Y7 i" i# T$ {9 H6 @# y4 c      
   
. m6 d/ Z* z  f2 V    ================================================================================
    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
% I8 V' C0 L( U: J; _- k    ================================================================================
" }! o& Y, _  p9 o' _( n   
    Mixlib::ShellOut::ShellCommandFailed
    ------------------------------------
    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
   
8 [7 i( Z( H+ l3 Y  \6 a+ u; N8 A$ a    Resource Declaration:
    ---------------------
0 {: p( d! K* ~  {" f* t( }; M    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
   
     51: rails_migration "gitlab-rails" do
     52:   rake_task 'gitlab:db:configure'
/ F3 Q, T' l/ h7 J  O  Z9 g     53:   logfile_prefix 'gitlab-rails-db-migrate'
     54:   helper migration_helper
6 {4 c7 O+ q* v( T2 r     55:
     56:   environment env_variables
     57:   dependent_services dependent_services
     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
1 K; Q. K7 C) z     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
     60:
0 _) S0 ~0 |/ ]5 `1 g" @! ~     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
, Y, p2 _8 E9 f6 r- s     62: end
   
6 U  {  s" Y5 D+ I; D* e1 A: g1 _    Compiled Resource:
    ------------------
    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
9 z9 K* \/ X2 f6 _   
+ x. I% y3 {, S6 ^+ s" `    rails_migration("gitlab-rails") do
      action [:run]
      default_guard_interpreter :default
$ ]  a  X0 n8 H) g" a$ u+ p      declared_type :rails_migration
      cookbook_name "gitlab"
      recipe_name "database_migrations"
      rake_task "gitlab:db:configure"
      logfile_prefix "gitlab-rails-db-migrate"
      helper "*sensitive value suppressed*"
      environment "*sensitive value suppressed*"
      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
1 F% r- [# o5 w      only_if { #code block }
    end
. ]% Z* D4 G: L; P+ V' ]   
    System Info:
    ------------
8 a$ ^/ s$ ?" l( y4 T/ D    chef_version=15.17.4
; N4 u3 B; r7 w* F: G. |/ c    platform=ubuntu
9 i, ]& T' d8 g5 _    platform_version=20.04
4 ^) l2 ~7 w* Z) ]6 Y    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
    program_name=/opt/gitlab/embedded/bin/chef-client
    executable=/opt/gitlab/embedded/bin/chef-client
   
Running handlers:
There was an error running gitlab-ctl reconfigure:
rails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
6 R% v6 M# d7 C. d, _3 D4 o* PRunning handlers complete
Chef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
6 k5 r) {+ b. J) r. A9 _2 A4. 运行 gitlab-ctl reconfigure;
3 t4 V6 @; Y0 }* w) g5. 重启Gitlab：gitlab-ctl restart。
# d% L/ ~1 D" f' t2 l& F/ w3 w需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
9 H* |8 s- N7 n$ j# O参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
# w8 H: Y" X6 `( l6 R2. gitlab-ctl reconfigure failing due to migration issue
; A4 E: V# c9 D6 BAD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)