Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
: j# y1 z/ s5 i. Y7 |, l7 ?8 B登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
# _0 [6 n) O% G! y7 b8 N运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
接着设置语言和本地化设置：
( ]7 `; R! r7 p; a* {export LC_ALL=en_US.UTF-8
+ k. k1 R0 m! Y/ f. e% n9 K3 Qexport LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
! c  }, u5 F; o! p但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
" |& s$ o# H0 }于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
Recipe: gitlab::database_migrations
  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
  * rails_migration[gitlab-rails] action run
8 B8 J# [7 b9 I: @" \    * bash[migrate gitlab-rails database] action run
      
2 b$ O, G2 n# l6 B1 J0 X/ B: b( I      ================================================================================
7 g& K4 S" Z7 O4 V8 `- T      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
! G8 r  e3 l' M: Z( r      ================================================================================
  @* ]5 f, c, f- N" N  |      
      Mixlib::ShellOut::ShellCommandFailed
      ------------------------------------
2 B8 {; \7 n6 W      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
# J. ?0 u- e+ F- ?      
      Resource Declaration:
      ---------------------
      suppressed sensitive resource output
      
. |7 q9 x: u* T2 y      Compiled Resource:
) }3 V) B5 ~- P6 U  e; U      ------------------
8 ]- Y2 g! h! V6 f      suppressed sensitive resource output
, j# H4 k8 Y5 @! r  s8 t      
      System Info:
0 S$ M. ^2 z( _. R      ------------
      chef_version=15.17.4
      platform=ubuntu
% G  X/ N0 v' {) A8 P2 o9 T& Z      platform_version=20.04
      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
; X* C6 N' s  F      program_name=/opt/gitlab/embedded/bin/chef-client
      executable=/opt/gitlab/embedded/bin/chef-client
      
   
    ================================================================================
    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
. A, e: m! Q( J. s+ Y    ================================================================================
. o% ~1 j& M8 v4 j7 I   
    Mixlib::ShellOut::ShellCommandFailed
* }  P1 \% J, a$ V2 `1 Y% ^    ------------------------------------
    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
   
1 K# S) m. w8 g* e# [( A. X    Resource Declaration:
' G; t0 Y0 x: s3 f0 g% ~. ]    ---------------------
7 I6 I& b' k; l& z    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
+ d  S( Q9 B, h3 Q   
4 i, D- u/ ?: O( C     51: rails_migration "gitlab-rails" do
     52:   rake_task 'gitlab:db:configure'
3 y) g& K3 w* v, F; m) @! Q' B     53:   logfile_prefix 'gitlab-rails-db-migrate'
' i/ @" {. K! H# g& A3 ?     54:   helper migration_helper
     55:
) d) e# f( O. o( v- O     56:   environment env_variables
     57:   dependent_services dependent_services
( S/ k4 d5 u' G6 @     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
, r! d3 Z, n, g0 G, x     60:
     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
4 _& @; B/ k5 R. D+ _     62: end
1 ^% C6 ?2 d1 C1 X% s$ M   
- u0 b, j% q* M8 y    Compiled Resource:
    ------------------
    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
& e$ @6 V* a$ p0 O% Q   
    rails_migration("gitlab-rails") do
# \( p9 |' Z7 `# I6 N$ @0 W      action [:run]
      default_guard_interpreter :default
4 z4 q4 f# Y( \( \      declared_type :rails_migration
      cookbook_name "gitlab"
8 e; {$ }- J, e* n      recipe_name "database_migrations"
; @  K  i/ q# Q# f. g- g" K      rake_task "gitlab:db:configure"
# n) h+ w7 d3 @. K' |      logfile_prefix "gitlab-rails-db-migrate"
( i, s6 k% n/ V, U7 o6 c; K) q      helper "*sensitive value suppressed*"
& C; }8 @3 O- d2 u& [- ^8 @2 F      environment "*sensitive value suppressed*"
      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
      only_if { #code block }
/ e3 k' X' Y6 P6 w+ m/ p    end
1 p# Z; R8 K' {! ^$ J& ~0 L' u. A   
# I/ z) \. h3 ]& |- F    System Info:
    ------------
( i8 M4 h* H, Y* v) R1 ^    chef_version=15.17.4
9 h# T1 i7 e+ W& G0 _1 n& b+ ~6 [    platform=ubuntu
3 r+ v7 h2 C5 N: v5 \/ l    platform_version=20.04
# D" c, A) z1 U- w    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
2 |! O( ^- o9 F! {- J' ?    program_name=/opt/gitlab/embedded/bin/chef-client
: @0 F  _3 k  P  {; Z5 a% N    executable=/opt/gitlab/embedded/bin/chef-client
, }$ Y0 ?" k7 E" ?! ~! P   
Running handlers:
. s" n+ f: y, ZThere was an error running gitlab-ctl reconfigure:
rails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
. V2 o& ^$ F* Y0 p' oRunning handlers complete
Chef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
1 a0 Z0 h3 R5 P9 L" l3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
4. 运行 gitlab-ctl reconfigure;
: z+ \+ v# _! v. D5 L# p' T# }. \' h5. 重启Gitlab：gitlab-ctl restart。
需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
0 p7 O: x0 Y: `3 q. _1 ~: z8 z2. gitlab-ctl reconfigure failing due to migration issue
AD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)