KVM虚拟化

[db:作者]

一、虚拟化
在计算机技术中，虚拟化(Virtualization)是一种资源管理技术，是将计算机的各种实体资源(CPU、内存、磁盘空间、网络适配器等)，予以抽象、转换后呈现出来并可供分割、组合为一个或多个计算机配置环境，并重新分割、重新组合，以达到最大化合理利用物理资源的目的。
: b  `5 f) _# Y0 ^* r1 R
. ^% a$ n$ T' f4 X3 A" Y% B* X虚拟化可以提高IT敏捷性、灵活性和可扩展性，同时大幅节约成本，实现更高的工作负载移动性、更高的性能和资源可用性、自动化运维，这些都是虚拟化的优势，虚拟化技术可以使IT部门更轻松地进行管理以及降低拥有成本和运维成本。其他优势包括

降低资金成本和运维成本

最大限度减少或消除停机

提高IT部门的工作效率、效益、敏捷性和响应能力

加快应用和资源的调配速度

提高业务连续性和灾难恢复能力
虚拟化类型
服务器虚拟化
; T9 _7 ?  p7 t3 }服务器虚拟化支持将多个操作系统作为高效的虚拟机在单个五路服务器上运行，主要优势包括：

  }# `0 ^7 O' C$ a+ k

提升IT效率

降低运维成本

更快地部署工作负载

提高应用性能

提高服务器可用性

消除服务器数据剧增情况和复杂性
+ f% b' ?+ ]- X7 K( G! h网络虚拟化
通过软件定义网络，即网络的创建不再依赖于物理设备，如公有云厂商运行用户自己创建新的网络，在kubernetes、OpenStack中都会使用到网络虚拟化
, \3 q# k9 Q! A& b$ s) B# n
桌面虚拟化
将桌面部署为代管服务使IT组织能够更快地响应不断变化的工作场所需求和新出现的机会。还可以将虚拟化桌面和应用快速、轻松地交付给分支机构、外包和离岸员工以及使用iPad和Android平板电脑的移动员工
0 a- B3 @7 ~, U; ^2 [) }8 Z
7 ^( u( m" Z- |5 [# Y; j应用虚拟化
$ ?4 G* e* }. z/ M0 s* g2 [将软件虚拟化

存储虚拟化
SAN(基于磁盘)/SAN(NFS/Samba)/GlusterFS/ceph等

# @- P; h" Z) v0 [! J& C库虚拟化
/ ~; s$ j& m2 m0 n在linux上运行windows程序使用wine，在mac系统运行windows程序使用CrossOver等
; |' A% C6 N* B* K& ~9 ~
' `9 ~, |% ~' W4 Z( T容器技术
被称为下一代虚拟化技术，典型的就是docker、Linux Container(LXC)、pouch、RKT


- l- Y" i: \! _$ Z* S. O+ G虚拟化技术分类
模拟器
' C- O+ j, ~5 k( {在一个host之上通过虚拟化模拟器软件，模拟出一个硬件或者多个硬件环境，每个环境都是一个独立的虚拟机，CPU、IO、内存等都是模拟出来的，可以在宿主机模拟出不同于当前物理机CPU指令集的虚拟机，比如可以在windows模拟出macOS、unix系统，比较出名的模拟器有：pearpc、QEMU、Bochs

9 x$ \  E* E2 k6 u全虚拟化 full virtualization /准虚拟化 native virtualization
4 H2 E7 M! ~& O3 S6 V" G全虚拟化/准虚拟化不做CPU和内存模拟，只对CPU和内存做相应的分配等操作，全虚拟化需要物理硬件的支持，比如需要CPU必须支持并且打开虚拟化功能，例如Intel的Intel VT-X/EPT，AMD的AMD-V/RVI，以在CPU层面支持虚拟化功能和内存虚拟化技术，因此完全虚拟化也是基于硬件辅助的虚拟化技术

全虚拟化软件(硬件辅助全虚拟化):
VMware workstation  #https://www.vmware.com/cn/products/workstation-pro.html
paralles desktop
KVM
: G2 y( ]' F' D& v( }Microsoft Hyper-V
VirtualBox
半虚拟化 para virtualization
- L1 s+ |" k% X# B半虚拟化要求guest OS的内核是知道自己运行在虚拟化环境当中的。因此guest OS的系统架构必须和宿主机的系统架构相同，并且要求对guset OS的内核做相应的修改，因此半虚拟化只支持开源内核的系统，不支持闭源的系统，比较常见的半虚拟化就是早期版本的XEN，但是Xen从其3.0版本开始，可以支持利用硬件虚拟化技术的支持(http://www-archive.xenproject.org/files/xen_3.0_datasheet.pdf)，实现了完全虚拟化，可以在其平台上不加修改的直接运行如Linux/Windows的系列的操作系统，使得系统具备了更好的兼容性
/ C% }5 x5 Z, h; e" q! |

二、虚拟化技术之KVM
KVM是Kernel-based Virtual Machine的简称，是一个开源的系统虚拟化模块，自linux 2.6.20之后集成在Linux的各个主要发行版本中，KVM目前已成为学术界的主流VMM(virtual machine monitor，虚拟机监视器，也称为hypervisor)之一。

, f9 `4 P  U; u  A$ YKVM(基于内核的虚拟机)是针对Linux的完全虚拟化解决方案，它在x86硬件上包含虚拟化扩展(Intel VT或AMD-V)。它由提供核心虚拟化基础架构的可加载内核模块kvm.ko和处理器特定模块kvm-intel.ko或kvm-amd.ko组成

KVM的虚拟化需要硬件支持(如Intel VT技术或者AMD V技术)，是基于硬件的完全虚拟化，而Xen早期则是基于软件模拟的半虚拟化，新版本则是支持基于硬件支持的完全虚拟化，但Xen本身有自己的进程调度器，存储管理模块等，所以代码较为庞大，广为流传的商业系统虚拟化软件vmware ESXI系列是Full-Virtualization
9 d/ I  ]  P& {8 E8 `+ W
6 [5 D! g+ b: ]9 |- LGuest:客户机系统，包括CPU(vCPU)、内存、驱动(Console、网卡、I/O设备驱动等)，被KVM置于一种受限制的CPU模式下运行

% n% Q, p. B. `2 jKVM:运行在内核空间，提供CPU和内存的虚拟化，以及客户机的I/O拦截，Guest的部分I/O被KVM拦截后，交给QEMU处理
/ A4 v: j# s( Q  F4 H
Qemu：纯软件实现的虚拟化模拟器，几乎可以模拟任何硬件设备，我们最熟悉的就是能够模拟一台能够独立运行操作系统的虚拟机，虚拟机认为自己和硬件打交道，但其实是和Qemu模拟出来的硬件打交道，Qemu将这些指令转译给真正的硬件，正因为Qemu是纯软件实现的，所有的指令都要经Qemu过一手，性能非常低，所以在生产环境中，大多数的做法都是配合KVM来完成虚拟化工作，KVM完成复杂及要求比较高的设备虚拟化。

4 j! R) N( x! z2 TKVM管理工具
; o+ w6 D0 G* }libvirt
使用最多的KVM虚拟化管理工具和应用程序接口，即通过libvirt调用KVM创建虚拟机，libvirt是KVM通用的访问API，其不但能管理KVM，还能管理VMware、Xen、Hyper-V、virtualbox等
3 ~# s& h' L+ G' A  ~; Z3 g& B
6 ]+ K* E/ p7 Q2 d: Z" F, rvirsh
一个常用的管理KVM虚拟化的命令行工具，常用于管理运行在单个宿主机上的虚拟机
& X$ ]5 J, I' T
virt-manager
  o% q4 g7 X5 M" e virt-manager是一个虚拟化管理图形软件，其底层也是调用libvirt API来完成对虚拟机的操作，包括虚拟机的创建、删除、启动、停止以及一些简单的监控功能等

OpenStack
# f5 e6 j9 h: _: N OpenStack是一个开源的虚拟化编排工具，常用于构建大规模的虚拟化环境，用于管理虚拟机的创建、启动、删除等整个生命周期
( z- k# T+ H* q' ]2 ]5 l7 X

+ P, L5 B8 b( d$ P7 S- pvirt-install命令使用
# virt-install --help
; Z  ]$ ~6 q) r4 z* Tvirt-install --name NAME --memory MB STORAGE INSTALL [options]
3 \+ k5 B! T$ |& ~使用指定安装介质新建虚拟机
) a7 r5 I; D& X/ ?通用选项：
  --version      查看版本号
/ q- y; q$ ~; v9 C& |) U  --name NAME    新建虚拟机的名称，多个虚拟机的名称必须不一样
  --memory 1024  配置虚拟机的内存
. D! ?; ?% r2 V2 G  H) F3 s  --vcpus 2      为虚拟机配置的vcpus数
  [( t- Z/ e0 p) _  
/ n, ?* ], |2 I8 M% X2 i安装方法选项:
  --cdrom    ios镜像文件路径
设备选项:
  --disk      使用指定的存储 --disk path=/var/lib/libvirt/images/centos7.qcow2
  --network   配置虚拟机网络接口 --network=default，--network bridge=mybr0
$ {: A# b+ h# p& p- i  j- h  vnc,listen=0.0.0.0,port=5901,password=test,keymap=ja  配置虚拟机控制程序设备
. A0 O% m2 x; z+ B8 G. _  
+ e" ?* D% U9 b2 N9 K其它选项:
7 H  ]& a; [4 u+ E' Q% N/ }* D  --autostart      引导主机时自动启动
  --noautoconsole  不要自动阐释连接到客户端控制台
8 D( ^# X2 q$ m8 s. B$ Z  H! V虚拟机管理命令virsh
# virsh list                                  #列出当前开机的
/ u9 j6 W- D4 R6 E' p% m; l7 X# virsh list --incative                  #列出当前关闭的虚拟机
# virsh list --all                                   #列出所有
# virsh shutdown centos7                 #正常关机
% d6 x5 ]& ]" G' ~' K# virsh start centos7                         #正常开机
# virsh destroy centos7                        #强制关机
# virsh undefine win10      #强制删除
# virsh autostart centos7   #设置当前虚拟机开机自启动
0 N! d& z$ W+ R0 ~
7 s6 \/ ?1 B& m( i0 ?2 L
& r% r, n: w. `9 B/ L三、使用KVM创建虚拟机
kvm需要宿主机CPU必须支持虚拟化功能，因此如果是在vmware workstation上使用虚拟机做宿主机，那么必须要在虚拟机配置界面的处理器选项中开启虚拟化功能。

  N( D  }, p1 _) S/ v' H/ k  i宿主机环境准备
#验证开启虚拟化
[root@node4 ~]# grep -Em 1 "vmx|svm" /proc/cpuinfo
1 N8 K9 z+ g$ g6 L5 G) W' _# Inter： vmx
# Amd： svm
  l/ Y4 `( W! C! Y
#安装kvm工具包
* t. P9 e! x1 @* P. M##CentOS
[root@node4 ~]# yum install -y qemu-kvm qemu-kvm-tools libvirt libvirt-client virt-manager virt-install
[root@node4 ~]# systemctl start --now libvirtd
[root@node4 ~]# ifconfig virbr0 #验证是否生成NAT网卡virbr0

. v4 A* u! z* W" |+ V; z# Ubuntu，https://ubuntu.com/server/docs/virtualization-libvirt
% G# N! R) ?6 F" Fapt install qemu-kvm virt-manager libvirt-daemon-system
# n& A5 C/ y% [$ e+ p% S# kvm-ok # ubuntu验证是否支持kvm，centos不支持该方式
: k# L2 A' C6 W) N) p2 @5 g创建NAT网络虚拟机
# Z4 z* d0 c+ H. H4 B默认网络就是nat
% x  Y! w+ h, P! ~- f6 v; v
[root@node4 ~]# ls -lrt /home/data/isos/centos7.iso   ##提前上传安装镜像
-rw-r--r--. 1 qemu qemu 1020264448 Jan 10 18:32 /home/data/isos/centos7.iso
#创建qcow2格式磁盘
: |$ n+ ]6 z/ t8 c+ g* O+ U[root@node4 ~]# qemu-img create -f qcow2 /home/data/kvm/images/centos7.qcow2 15G
' x  E" k- T  P2 d! t! @! J# 查看支持的OS版本
0 u$ p9 v2 d, I  c! q4 U[root@node4 ~]# osinfo-query os | grep centos
5 L/ f" Y- j3 w6 q: E6 M7 ~#创建默认网络虚拟机
+ C: f+ M7 y& w% Q[root@node4 ~]# virt-install --virt-type kvm --name=CentOS7 --os-variant=centos7.0 --accelerate --ram 2048 --vcpus 2 --cdrom=/home/data/isos/centos7.iso --disk path=/home/data/kvm/images/centos.qcow2,size=15,format=qcow2,bus=virtio --network=default --graphics vnc,listen=0.0.0.0 --noautoconsole --autostart

通过virt-manager安装管理虚拟机
% U' \# a3 _+ C  d" U1 K- |' ?如果系统语言是中文virt-manager打开管理界面显示是乱码
解决方法：
- H0 r' o: Q7 }, w4 C# \[root@node4 ~]# yum install -y dejavu-lgc-sans-fonts && yum groupinstall -y "fonts"

virt-manager提示Gtk-WARNING **: 19:16:15.412: cannot open display:
$ v0 A/ y% R6 Q( ^2 t###安装xorg-x11-font-utils包后可以正常打开
# L: Q/ {# Z6 p[root@node4 ~]# yum -y install xorg-x11-font-utils

#安装步骤与正常安装一致
( I/ P  u) c2 b# t. r# _[root@node4 ~]# virt-manager
virt-manager管理虚拟机界面

& b8 _) s; \) n! u7 ~% ~
查看虚拟机IP
自动获取到的ip地址是NAT分配的192.168.122.X地址段，此地址可以访问外网但是无法从外网主机访问到此虚拟机上的相关服务
9 S- v, w- z# T
. W# A/ l$ j# n# Y


" ~: ]1 w, V" o9 K8 {' o5 u3 I
( H- e6 k/ S7 \创建bridge网络虚拟机
0 y! C  i- A' Q( E: M$ w$ t桥接网络可以让运行在宿主机上的虚拟机使用和宿主机同网段IP，并且可以从外部直接访问到虚拟机，目前企业中大部分场景都使用桥接网络。
, X8 ]: ^! `; X, z& K8 Y
! z2 h- L3 b& J! Z创建br0桥接网卡
/ i; u" c$ Y4 |5 C8 e" ?4 bubuntu 创建桥接网卡
0 a3 W. [3 S5 }, p, I" k. Q% b, T~# vim /etc/netplan/01-netcfg.yaml
$ h, O9 ?. E" g! x- E8 s! }# This is the network config written by 'subiquity'
network:
  renderer: networkd
  ethernets:
    eth0:
      dhcp4: no
      dhcp6: no
  bridges:
  X' G' m, X- O1 E, x0 P1 b& p2 c    br0:
      dhcp4: no
      dhcp6: no
; u. f6 p( X# S# W      addresses: [172.20.22.26/16]
3 y$ J  c6 T8 o% y/ I" n1 O/ U      gateway4: 172.20.22.254
* X3 Q2 m: X" ]& d0 R, S: z( Q      interfaces:
        - eth0
  version: 2
~# netplan apply
~# ifconfig
0 r! j; a! L4 Y/ W# \3 _5 F
centos创建桥接网卡
# cd /etc/sysconfig/network-scripts
, ~5 M2 Z9 n" ]/ T- ]- j* c. m& D# vim ifcfg-br0
6 C! ^3 K2 J. ]TYPE=Bridge
. o) B6 f) @" T9 V! CBOOTPROTO=static
( g& s4 f; Y& ~* r' d4 MNAME=br0
' N9 [2 n* g# E: [0 W8 A2 `1 WDEVICE=br0
% n6 e, d( d0 @( F3 Q8 x! d6 OIPADDR=172.20.22.26
NETMASK=255.255.0.0
5 R* u# n" u, o+ k  ?. pGATEWAY=172.20.22.254
# vim ifcfg-em1
TYPE=Ethernet
8 c  b$ i$ h4 `8 z" k; b  Y$ Z) kPROXY_METHOD=none
BOOTPROTO=static
% [. D- @8 M& f( @3 KNAME=em1
! U& @- f9 t" E) e9 I- w4 GDEVICE=em1
+ I$ Y5 C' v% j& J% p% w; AONBOOT=yes
. s, ?( `" ~9 h% c- C# H* K+ ]3 n, M# ABRIDGE=br0
# systemctl restart network
# ifconfig
创建虚拟机
: r1 G" j0 I' Q0 F) @  i, p#创建系统磁盘
# qemu-img create -f qcow2 /home/data/kvm/images/centos7-bridge.qcow2 10G
$ k, O+ h" O4 LFormatting '/home/data/kvm/images/centos7-bridge.qcow2', fmt=qcow2 size=10737418240 encryption=off cluster_size=65536 lazy_refcounts=off
/ c$ F5 i. l7 @. g) `# ls -lrt /home/data/kvm/images/centos7-bridge.qcow2
-rw-r--r--. 1 root root 197120 Jan 12 14:45 /home/data/kvm/images/centos7-bridge.qcow2

0 a8 h; `7 N, A# k" p: T( d9 a% X#创建基于桥接网络的虚拟机
# virt-install --virt-type=kvm --name=centos7-bridge --os-variant=centos7.0 --accelerate --ram 2048 --vcpus 2 --cdrom=/home/data/isos/centos7.iso --disk path=/home/data/kvm/images/centos7-bridge.qcow2,format=qcow2,bus=virtio --network bridge=br0,model=virtio --graphics vnc,listen=0.0.0.0 --noautoconsole --autostart
1 I- h% \7 Q! L# l' C6 d) |( f7 T#通过virt-manager安装管理虚拟机
) k" e3 O: U2 v% E" O! P  z9 ^; E# virt-manager
" \. W0 s4 V2 w
#创建虚拟机自动生成对应的xml文件目录，虚拟机删除之后xml文件也会自动删除
# ls -lrt /etc/libvirt/qemu
-rw-------. 1 root root 4237 Jan 11 11:26 CentOS7.xml
-rw-------. 1 root root 4253 Jan 12 17:11 centos7-bridge.xml
8 J' H8 C$ b: f& X' I验证虚拟机桥接网络通信
桥接网络的虚拟机需要手动设置虚拟机网卡的IP，网卡配置文件与物理机的相同也是在/etc/sysconfig/network-scripts目录中对应的ifcfg-eth0文件




$ Q* L* n: a5 ?* R, R+ s2 W
. m$ I; v% O  y7 J/ P& G/ c创建windows10虚拟机
% J0 I. r5 k, }/ J" p4 j3 z- Svirtio是一种I/O半虚拟化解决方案，是一套通用I/O设备虚拟化的程序，是对半虚拟化Hypervisor中的一组通用I/O设备的抽象，提供了一套上层应用与各Hypervisor虚拟化设备(KVM,Xen,VMware等)之间的通信框架和编程接口，减少跨平台所带来的兼容性问题，大大提高驱动程序开发效率，windows系统需要单独安装virtio驱动，linux系统自带virtio驱动
& X  l, o; [8 g) g1 v  k
windows虚拟机virtio驱动下载地址Index of /groups/virt/virtio-win/direct-downloads
0 W2 M$ [0 g3 H5 v0 q: a; Y
##把win10的iso镜像问件以及virtio的驱动文件上传至home/data/isos目录下
# qemu-img create -f qcow2 /home/data/kvm/images/win10.qcow2 100G
Formatting '/home/data/kvm/images/win10.qcow2', fmt=qcow2 size=107374182400 encryption=off cluster_size=65536 lazy_refcounts=off
$ ^: Z6 G* Y9 a7 @; l( ?# virt-install --virt-type kvm --name win10 --os-variant=windows --accelerate --ram 2048 --vcpus 2 --cdrom=/home/data/isos/windows10.iso --disk path=/home/data/kvm/images/win10.qcow2 --disk path=/home/data/isos/virtio-win_amd64.vfd,device=floppy --network bridge=br0,model=virtio --graphics vnc,listen=0.0.0.0 --noautoconsole --autostart
Starting install...
  L0 R9 _/ s. R0 y* mDomain installation still in progress. You can reconnect to
& E9 W0 J4 B5 d2 Wthe console to complete the installation process.
) ~* q, @4 b$ O" P% ~2 u% D
) w5 u; M; N. N8 @2 m. n: N
3 W$ o! T0 r9 n# k# j接下来的安装步骤跟物理机安装一致，具体安装过程略

四、快速创建虚拟机
; L* U. d  W/ K+ _快速创建虚拟机的方法：

/ s+ ~! _8 y+ C- U! A9 P; o通过virt-manager直接clone

复制虚拟机磁盘，通过命令行创建虚拟机复制虚拟机磁盘，通过virt-manager导入
4 {8 Q* N( K2 l% B- d% r% q8 W通过virt-manager直接clone
: R( a9 J7 j; O: }* Q( u5 O: x打开virt-manager管理界面，右键点击clone
% [- i7 W9 d% ?! `. U5 @" ?) K
/ O# U4 n8 R( l0 C, z4 l, p修改虚拟机名称，点击clone
& q+ P1 k3 e$ N4 C

0 e4 e$ _8 A  `; _
clone完成后点击开机
- j- C$ i4 \4 s6 t% [, R


  l* V+ p- y! a" f& D修改对应的IP地址，重启网络测试

1 ^- R6 w4 H" a
( y( s2 S* S: n- R- o  b

; d* O# P0 n$ w$ f. [
2 I4 {2 k# U( [0 h复制虚拟机磁盘，通过命令行创建虚拟机
虚拟机不要开始安装过程，即虚拟机启动后立即强制关机重新启动即可进入到虚拟机系统。复制的虚拟机磁盘已经是一个完整的虚拟机系统。

复制磁盘，通过命令行创建
5 q! s$ s0 n  R  [3 m1 Q9 x[root@node4 ~]# cd /home/data/kvm/images
9 B0 f4 r$ N4 ~1 Q1 o" U, j[root@node4 images]# cp centos7-bridge.qcow2 mysql-bridge.qcow2
7 `2 U, b3 J- S1 z# l, {" C% w[root@node4 images]# virt-install --virt-type kvm --name mysql-bridge --os-variant=centos7.0 --accelerate --ram 2048 --vcpus 2 --cdrom=/home/data/isos/centos7.iso --disk path=/home/data/kvm/images/mysql-bridge.qcow2 --network bridge=br0,model=virtio --graphics vnc,listen=0.0.0.0 --noautoconsole --autostart

' |9 G% @8 x+ ?8 d" I( O! O#会自动生成对应xml文件
/ S* D% J. P8 j7 O9 A/ \[root@node4 images]# ls -lrt /etc/libvirt/qemu
-rw-------. 1 root root 4247 Jan 13 14:22 mysql-bridge.xml

. Z8 m3 G$ T- J+ G8 b) Z
% i& T& p! b4 L$ N修改对应的ip测试

; s( ^/ ^9 F4 ~* n3 y) l


- m: q' _2 G5 _复制虚拟机磁盘，通过virt-manager导入
  D4 t. s' R% T/ w0 w  E! ]复制虚拟机磁盘，通过virt-manager导入
  N* W/ I) Q/ w+ y* ]% Q- l[root@node4 ~]# cd /home/data/kvm/images
[root@node4 images]# cp centos7-bridge.qcow2 haproxy-bridge.qcow2
通过virt-manager管理界面导入

- M, S* x0 E5 x0 a8 j
7 p  _) ^2 }" S" T+ z) z
3 t9 `% _, l7 q/ O- p
; k& z! {' C1 k4 [2 C8 A
9 v# p3 j5 c, o
/ d5 p5 c( ~( c: \& ~
4 L  O: w8 z) ?# ^* n& d9 l0 {

9 x  `% a( g% A) _
( w6 c- Q7 |3 q' H$ B2 [3 W& i) b


/ r7 S2 e; [# P/ Z; z+ C登录系统之后修改IP，重启网络测试
! a4 s- X6 U% N0 n: W7 |
: ^+ H) z) U1 `# |. g, _

) S2 T9 }" t. f" e6 F4 N/ x* P

五、将vmvare虚拟机迁移到KVM环境
/ ~6 l+ C  S# C) k1、将VMware虚拟机对应的vmdk文件迁移至kvm硬盘存储位置

& H" n4 c+ N. y2、将迁移至kvm的vmdk文件格式转换为qcow2

9 X5 e) z# \, `, }+ ^& P% V3 K7 k3、用virt-manager管理工具转换完成的qcows2重新导入，开机测试

$ _- H( l, k6 _6 S##将vmware虚拟机的node4-centos7.vmdk文件上传至kvm对应的磁盘存储目录，然后转换vmdk文件
# qemu-img convert -O qcow2 node4-centos7.vmdk node4-centos7.qcow2
$ B9 z- o: ]; Q6 P导入步骤：


. p" H& b  [6 C6 c3 c
( \- ^. ~' p2 [. B