Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
+ C" H& _7 R6 ]8 L/ q& D登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
4 i0 y* f& F# x( g运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
  A4 X7 w3 K  H接着设置语言和本地化设置：
  V% l% l% h2 [export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
' W0 z! N, g6 s/ I7 n; V但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
Recipe: gitlab::database_migrations
  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
5 |3 k* n2 H, |3 @* a; F  * rails_migration[gitlab-rails] action run
    * bash[migrate gitlab-rails database] action run
; m% y; q4 \1 `1 t- X      
+ M) [. c- H: s* i3 c      ================================================================================
: ^) V$ v% h$ Q. I      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
& p3 c2 Z5 i8 k! r4 O1 `      ================================================================================
+ t  {# F3 ~) b4 Y8 ?      
% P7 p' \: @+ w0 N: p      Mixlib::ShellOut::ShellCommandFailed
      ------------------------------------
" b4 D' T# L9 t% q% W7 `      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
      
      Resource Declaration:
7 P& U2 o3 y. O$ J5 U9 ~6 N5 o      ---------------------
( O* A- o, I2 K: Z; a: ~      suppressed sensitive resource output
5 z+ O+ P2 |, I% l) b      
      Compiled Resource:
      ------------------
      suppressed sensitive resource output
      
4 x& C8 X- m, A: X3 ^/ q4 p3 R2 I      System Info:
      ------------
# }0 [! g( |# w      chef_version=15.17.4
9 A3 Z* h! E5 }2 n      platform=ubuntu
      platform_version=20.04
      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
; x: R8 n: P7 |. q      program_name=/opt/gitlab/embedded/bin/chef-client
) g$ n; ^0 L4 _. u& R) [8 z5 q      executable=/opt/gitlab/embedded/bin/chef-client
) v" V0 d, A) u/ x3 i# {4 l      
   
    ================================================================================
    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
    ================================================================================
  T% d. l* F0 G' a, X$ R   
+ U0 L! b8 k& r% F7 y1 \7 O( w5 A    Mixlib::ShellOut::ShellCommandFailed
1 m( m1 s' N6 x  t  e; u0 h7 T    ------------------------------------
    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
5 N) Q+ Z4 W, `* w3 n( `   
# z+ J+ a1 d, l# j    Resource Declaration:
0 T. o' p( w# F! L    ---------------------
    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
   
9 y. r; A% ]$ h     51: rails_migration "gitlab-rails" do
' w; r9 x/ u0 o* {" X& s     52:   rake_task 'gitlab:db:configure'
     53:   logfile_prefix 'gitlab-rails-db-migrate'
     54:   helper migration_helper
5 V/ y# v, x4 Z6 Z2 s- U     55:
     56:   environment env_variables
     57:   dependent_services dependent_services
# X. m8 u  P: @: x; g5 g     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
8 S; k" F. R+ m$ R0 c/ M* s8 o  H2 z     60:
     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
; B; J7 t4 W0 f3 z' P& _4 M* M) K     62: end
   
0 w2 X/ s% T" ~. Y" K8 \) H    Compiled Resource:
% x, e# m- u+ J4 N, c) v    ------------------
    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
% M3 G4 s3 U& A! |6 Z   
# v* I) _$ c0 O8 s    rails_migration("gitlab-rails") do
+ l' ?7 N9 U2 A5 u      action [:run]
      default_guard_interpreter :default
; n6 L$ Z* W9 A  C: H. s      declared_type :rails_migration
% \6 @5 V# s' ]/ b6 A0 [9 p  L  E      cookbook_name "gitlab"
      recipe_name "database_migrations"
      rake_task "gitlab:db:configure"
% w, F8 m  n. \, a: T      logfile_prefix "gitlab-rails-db-migrate"
' J- z& L) L) x0 p      helper "*sensitive value suppressed*"
3 w6 d4 Z) \' N: g! Q      environment "*sensitive value suppressed*"
      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
1 v9 R: j; M% Z; j, X) c      only_if { #code block }
    end
) d$ X# F1 R; [8 z   
    System Info:
    ------------
    chef_version=15.17.4
! K- s' e: o, t3 I+ i    platform=ubuntu
    platform_version=20.04
    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
    program_name=/opt/gitlab/embedded/bin/chef-client
3 X: ]4 O. e: K    executable=/opt/gitlab/embedded/bin/chef-client
* ?+ d. ]0 ?9 `( b5 R   
0 w, m8 n/ ~, @2 YRunning handlers:
8 P7 Z2 c- a! x8 FThere was an error running gitlab-ctl reconfigure:
rails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
: ?9 _) L- \+ p% f+ ZRunning handlers complete
Chef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
& K( G6 R8 J1 \* Z% n+ C  k1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
  r7 d" |+ K2 l  ^: Q. f0 _5 L7 u+ C2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
# T0 G! @. b2 p' b% e4. 运行 gitlab-ctl reconfigure;
- l( N9 s, H1 J7 B3 W1 `3 P5. 重启Gitlab：gitlab-ctl restart。
需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
3 J1 O  H5 d( t( ^5 W6 }参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
- n: E  Z* r4 P2. gitlab-ctl reconfigure failing due to migration issue
7 M0 \; M, L' wAD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)