Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
接着设置语言和本地化设置：
export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
. h2 H6 ]5 o3 s0 i5 g/ B于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
Recipe: gitlab::database_migrations
  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
, I  B% N9 |( P2 b: A0 G: F1 f( o  * rails_migration[gitlab-rails] action run
    * bash[migrate gitlab-rails database] action run
      
      ================================================================================
      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
      ================================================================================
% J8 c% K) V: ~! o4 _1 N. @      
      Mixlib::ShellOut::ShellCommandFailed
      ------------------------------------
      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
      
7 c' L( c7 x8 G. x! ?5 p/ T5 ?" t1 N      Resource Declaration:
' \) M* C9 c  F9 {: \' E6 T0 I/ Q3 y      ---------------------
      suppressed sensitive resource output
4 v/ J1 L5 V. O) U9 k! `# `: }4 S      
      Compiled Resource:
      ------------------
      suppressed sensitive resource output
4 d% R6 r" x' h' t; E      
+ l/ C2 I4 i: [- j8 O      System Info:
+ y/ c5 Y0 _  i6 C' X3 j      ------------
' I5 l, H! F: a+ }      chef_version=15.17.4
) \( q& s' E1 q* G& y      platform=ubuntu
      platform_version=20.04
: T) s/ p$ \8 Q0 S4 A+ F      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
      program_name=/opt/gitlab/embedded/bin/chef-client
      executable=/opt/gitlab/embedded/bin/chef-client
      
8 j2 g! p( a* }0 a: a   
  u. t# i$ ]* J    ================================================================================
; t$ Y. o+ D2 Q. u  g9 b' b    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
    ================================================================================
   
* C/ u2 N5 }" h    Mixlib::ShellOut::ShellCommandFailed
3 l9 ^) [" A8 E, o    ------------------------------------
0 a( V- N" _2 v% `8 t' I    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
& }8 }9 B8 a9 `6 X2 ?# H" G   
    Resource Declaration:
6 U0 B4 Q$ p- |( C    ---------------------
    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
: i# C1 A* }5 A0 @# `   
) }+ C! ~* U  r% O% V, F     51: rails_migration "gitlab-rails" do
, \$ d) R( b( B  N" `# v5 w     52:   rake_task 'gitlab:db:configure'
7 a& L( z# D: a     53:   logfile_prefix 'gitlab-rails-db-migrate'
     54:   helper migration_helper
     55:
     56:   environment env_variables
  x4 O+ c- n! K+ |     57:   dependent_services dependent_services
3 y9 M( z, G$ `( y     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
& ~# D' a9 E- j& g     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
& _9 ^  T! U+ a3 O6 k0 E     60:
* u, F5 Y, t( N' y5 D( U4 Z     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
     62: end
   
  J- H9 r/ d; S    Compiled Resource:
    ------------------
    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
   
    rails_migration("gitlab-rails") do
; U+ x" b  i# ^      action [:run]
2 s  i# O1 |6 b* b2 z      default_guard_interpreter :default
      declared_type :rails_migration
' W2 j2 A5 H5 r# G1 K      cookbook_name "gitlab"
( g7 `6 }/ o3 ?& g& W0 Z$ {      recipe_name "database_migrations"
- c7 n/ q4 P! R3 Q      rake_task "gitlab:db:configure"
7 F& }: v/ [1 c      logfile_prefix "gitlab-rails-db-migrate"
      helper "*sensitive value suppressed*"
      environment "*sensitive value suppressed*"
      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
      only_if { #code block }
% u' P4 J3 v( x. p9 b# |7 U    end
   
. H6 e4 E7 U$ M  J/ q6 y, E6 X- E, N    System Info:
    ------------
) E8 z3 o1 \  }    chef_version=15.17.4
    platform=ubuntu
    platform_version=20.04
; \9 W1 V/ n* L2 n7 \1 b8 P    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
# c6 T) v( H# L' Z    program_name=/opt/gitlab/embedded/bin/chef-client
    executable=/opt/gitlab/embedded/bin/chef-client
   
1 n) y4 M& ]  e1 z! _0 tRunning handlers:
( D3 |/ o! ]1 _4 P5 X$ m: L; PThere was an error running gitlab-ctl reconfigure:
rails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
1 H3 a" A" J3 j% m! YRunning handlers complete
Chef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
' i7 t0 P, H/ l+ a3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
4. 运行 gitlab-ctl reconfigure;
/ K/ |* \7 |# K. H9 Q5. 重启Gitlab：gitlab-ctl restart。
) S8 g0 x* z4 q$ q+ m# k( N- `需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
8 Y4 C6 E( \: a) J* C) `参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
2. gitlab-ctl reconfigure failing due to migration issue
& x  r. C0 p( ~3 q' B  d/ }% K, xAD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)