扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 666|回复: 0

字符串、unicode和UTF8编码之间的互相转换 - 青浦海洋数码电脑城

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
56206
发表于 2022-9-11 21:05:01 | 显示全部楼层 |阅读模式
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/
$ U# ^/ I3 N( P( G- l+ d
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。# g" E& ^4 O6 U: N4 X9 L
% k9 ~# |( ~& }$ {  k

( \3 @, c3 d; b9 m& \* V" x
- Q1 D0 q2 m+ e: u/ d; p: E5 x8 s8 _
+ `: L6 Y6 I+ C+ q6 y
字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。
3 W' q! E9 ?- O回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。
. t3 z+ p, X1 K& Q7 S; dJavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:! I/ J# Z/ @: G  g4 d7 T& N
function encode(str) {+ }' x+ }) f0 z. N* [/ w1 a
    var result = '';6 U+ t6 z  n4 F6 Y9 k0 U2 l* Y
    var len = str.length;
0 O) [7 j* y6 C6 ?4 r$ K, K    for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!
6 L. Y4 z. \' X4 @$ z! P3 i要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:( s) G( Z$ b$ Y& }9 e
unicode码点(十六进制)[/td]UTF-8(二进制)
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:0 L' d: [2 }. S: G
// 获取字符串的utf8字节流" p. _7 W8 M& H) I
function getUTF8Bytes(str) {
5 s* ~& H/ a; I& W9 e  var bytes = [];$ c+ l" K5 _/ p2 X) P& K
  var len = str.length;
  B" l" h" E+ H; e. C  for (var i = 0; i = 0x10000 && code > 18) | 0xf0);                // 第一个字节4 G. U+ F" w( V) Z& X- k
      bytes.push(((code >> 12) & 0x3f) | 0x80);% E+ V' L3 u; Q: W& u& j, ~
      bytes.push(((code >> 6) & 0x3f) | 0x80);
1 F) K' @8 j) L* @  N5 V% o      bytes.push((code & 0x3f) | 0x80);( u1 u% q# H' W* z0 P+ M
    } else if (code >= 0x800 && code > 12) | 0xe0);5 l5 _) h. A4 C4 k) W' V* T) U
      bytes.push(((code >> 6) & 0x3f) | 0x80);
1 B( G) X6 `; L3 v- K      bytes.push((code & 0x3f) | 0x80);
4 B* z" x' i4 t4 |. n- M    } else if (code >= 0x80 && code > 6) | 0xc0);/ r- q7 L& C* S! [; {: B( v2 L: O
       bytes.push((code & 0x3f) | 0x80);$ O9 J) Q0 Q6 S
    } else {
1 W0 d- y+ k4 `$ W      bytes.push(code)
5 K+ l5 ?0 Y0 `2 E/ R3 ~# J" |7 F4 `& {    }2 n, E8 N4 m# H  z5 s* E
  }' ~; F: j4 N/ S3 y; S
  return bytes;
  V( J4 y. n. X1 ^: L! @' Y}/ ~; i2 D# y* F# Q; E
// 将字节流转换成16进制字符串. q: V" g; W1 h* S/ i2 _% ?3 f: G
function hexString(bytes) {
" p0 }; a* v' E" p! O  var arr = bytes.map(function (code) {
/ A, @* I+ g+ V6 c    return (code).toString(16).toUpperCase();1 ~2 H: f0 u" }9 N& d2 T
  });
+ `4 p( V# ~$ _0 ~% x, r- t  return arr.join(' ');6 h. s7 _$ E& w3 R
}
1 Z" M% F  v4 X0 S" ifunction utf8(str) {
, E' @- {3 j' z* @   return hexString(getUTF8Bytes(str));: ]( \7 M4 b/ ^! W0 @
}/ ]' z/ R5 k! i6 _( @3 \* I
调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。: v0 ]# x" `; C; w" [5 p
AD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表