Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
接着设置语言和本地化设置：
export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
) o1 F# i- B$ G. k于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
Recipe: gitlab::database_migrations
: n# S& N/ ^7 f: ~  l  T& J; I  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
- p* ~- }  V" V6 V3 q2 Y8 `0 {  * rails_migration[gitlab-rails] action run
    * bash[migrate gitlab-rails database] action run
# n) J9 w' `' i; G      
( f5 u9 K" @' n4 ^      ================================================================================
      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
$ X0 b# L! R3 C, s) [# `6 h3 D: r      ================================================================================
& c% q" Y4 H/ t7 v& f/ ?      
" A' S7 }* H9 O" _+ P      Mixlib::ShellOut::ShellCommandFailed
  q9 w8 y+ z. x: H' m; z      ------------------------------------
, p# n  ^7 C7 L, A8 K  r2 U      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
8 M& r  |- C4 E# u      
      Resource Declaration:
      ---------------------
$ `& g; J% F" f" W8 n2 _. i# J& B      suppressed sensitive resource output
      
      Compiled Resource:
      ------------------
      suppressed sensitive resource output
      
      System Info:
      ------------
- X, _- q9 t/ q, ?+ j$ S8 @      chef_version=15.17.4
      platform=ubuntu
9 n& N" W2 A; w6 y      platform_version=20.04
3 g& x3 v2 L1 n& F      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
      program_name=/opt/gitlab/embedded/bin/chef-client
( m& M% I: g% {7 R      executable=/opt/gitlab/embedded/bin/chef-client
  A% U5 }4 M; a( q1 ]      
) \& p1 ]" ]5 @4 v4 W/ H   
    ================================================================================
9 {) e. D% L1 S- }% v    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
    ================================================================================
   
    Mixlib::ShellOut::ShellCommandFailed
; {" N, u8 ~4 a; t/ Z' B& `) G    ------------------------------------
    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
( z: z7 z4 I& O" p   
* U& K6 H! ~3 J    Resource Declaration:
5 {; O5 w5 E6 e- M0 J6 ~    ---------------------
2 W: I8 k9 f. i  S# v# H    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
- M  x- x" W8 s# z. I- p! J   
     51: rails_migration "gitlab-rails" do
: k$ I- g$ O! Z2 Y1 ~     52:   rake_task 'gitlab:db:configure'
# i# B" A# C6 {, P: j/ P# M     53:   logfile_prefix 'gitlab-rails-db-migrate'
# ?, a! w* c% P) Q; j; N     54:   helper migration_helper
     55:
     56:   environment env_variables
. U+ P4 V0 F5 b0 R3 N  `; N: R4 d( Z     57:   dependent_services dependent_services
     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
( s9 |! ^1 a8 W1 _& @6 M# i     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
     60:
     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
( N4 }2 d- r  L1 ~$ q% |     62: end
! T5 w2 p7 j2 I2 Y   
    Compiled Resource:
$ o; _, r) r! M; z- [; ]% B( m    ------------------
    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
   
( m. ]. [4 o3 `4 ?    rails_migration("gitlab-rails") do
      action [:run]
4 r0 N' r' K+ G$ g8 C      default_guard_interpreter :default
: ~  j" B5 J  L+ L      declared_type :rails_migration
      cookbook_name "gitlab"
      recipe_name "database_migrations"
9 ^4 [4 }5 t0 T$ |4 P: u" `      rake_task "gitlab:db:configure"
3 I, \+ |& Z0 b5 _8 u      logfile_prefix "gitlab-rails-db-migrate"
      helper "*sensitive value suppressed*"
0 G( r. _) d/ X/ Q8 ^6 k- w      environment "*sensitive value suppressed*"
      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
      only_if { #code block }
  \3 ?" P. B& U; h1 H6 Q6 Z2 `4 P    end
% {! q) {7 y9 h: Z. o& U/ q   
    System Info:
    ------------
; H3 F+ E5 K9 O4 l& k  W    chef_version=15.17.4
    platform=ubuntu
$ R# h; R- W8 E% }- n    platform_version=20.04
6 c3 {5 S+ @2 ]6 A    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
+ t) R1 R1 J0 T    program_name=/opt/gitlab/embedded/bin/chef-client
    executable=/opt/gitlab/embedded/bin/chef-client
4 t: @8 `% R1 t/ ?   
( ~$ k8 u7 J$ l% X5 h" WRunning handlers:
0 x  f/ H& p) W; f* \) zThere was an error running gitlab-ctl reconfigure:
1 _: N- ^5 v7 M$ u  M& s8 D& A' Urails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
5 b+ N7 W4 b& K1 ARunning handlers complete
! z9 ]6 n! [# T7 _Chef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
' i% I* R7 p$ O: F& F8 {1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
& ?0 c( q. }6 g3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
" B$ ^# I0 x5 V' E4. 运行 gitlab-ctl reconfigure;
5. 重启Gitlab：gitlab-ctl restart。
; d5 x6 M, Y; F2 _* `2 p需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
4 X1 U; x# C) {; B" k$ j4 N6 t5 Z( F参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
$ q( A' F1 u/ v- n; A7 E2. gitlab-ctl reconfigure failing due to migration issue
AD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)