扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 1001|回复: 0

字符串、unicode和UTF8编码之间的互相转换 - 青浦海洋数码电脑城

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
56206
发表于 2022-9-11 21:05:01 | 显示全部楼层 |阅读模式
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/. ?5 J  i9 n2 n  `
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。' x9 \1 Y& g! z2 }- [

1 o! d: ?1 g3 \4 o/ \+ u, O
8 ?" X4 c6 Y) y% c% P* k) m+ `5 t& W' d. r# {( ]; W2 _' E
1 M2 J1 q( H* X5 V; {  ]
" z! H( K: h/ F+ [1 C. T+ k/ r! E9 B
字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。
6 T2 u) J! m8 `* c回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。
& a0 \+ R4 w. T! ~! }9 |JavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:
7 z6 P& z+ _" [0 }function encode(str) {4 Y4 S9 R0 i' }) g$ g6 F; M- q
    var result = '';
1 b# |0 ?. [; k% K+ W" }    var len = str.length;' S; B. i2 K7 F5 Q5 F5 M! ^) T
    for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!
4 n) `/ U' _- ?, h% H要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:  J9 z; J5 D( j$ r1 T
unicode码点(十六进制)[/td]UTF-8(二进制)
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:
9 Q) z6 ]1 V, K% W* W- W// 获取字符串的utf8字节流
6 ~5 `9 K9 ~& _" _function getUTF8Bytes(str) {; C* m; M" @3 Z  O' G# A( S. f
  var bytes = [];
; p- F6 l" S# U  var len = str.length;
6 }: r6 ~, }7 ]! N  for (var i = 0; i = 0x10000 && code > 18) | 0xf0);                // 第一个字节% Z9 y# e1 h/ i; y# o4 Z
      bytes.push(((code >> 12) & 0x3f) | 0x80);
8 S0 Q! M5 P% h; e; V; @  j: N      bytes.push(((code >> 6) & 0x3f) | 0x80);8 m5 T& O; r! ?4 j* M9 [
      bytes.push((code & 0x3f) | 0x80);
' W0 ]& |/ h6 N5 Q# @6 W    } else if (code >= 0x800 && code > 12) | 0xe0);9 D/ p$ U3 [- S6 O# r2 z7 X/ b( J
      bytes.push(((code >> 6) & 0x3f) | 0x80);
1 {, ~, T8 i5 p* h; S8 p      bytes.push((code & 0x3f) | 0x80);
  |  {! ]( h1 o+ j" i    } else if (code >= 0x80 && code > 6) | 0xc0);
+ p7 U. i/ Z: q: T       bytes.push((code & 0x3f) | 0x80);% V- n- J8 v' J- ~6 L7 t& Q% J
    } else {2 o# z- |, k, Q' k5 }' m! i3 p
      bytes.push(code)
' q7 D! b  q' c, }' b2 C, @& a    }% f& ~. J6 ~% G% J) E8 \& Y
  }
' r5 `; |6 z9 j  Y! {  return bytes;
6 @4 s3 G" ], K+ V- N}
& i( K* x: i/ l! {// 将字节流转换成16进制字符串
) x3 g( x7 n& ?% ~# bfunction hexString(bytes) {
* G% R$ w* L& u2 X2 |" H1 P  var arr = bytes.map(function (code) {' @( D! D5 ?) u3 [5 X" F
    return (code).toString(16).toUpperCase();
" n8 u. r% D0 T+ n) Y( a2 N  });
+ G8 x& l9 N9 ^9 @) A0 ?/ i  return arr.join(' ');* X1 a. k/ q& D1 k$ v) ^
}
! `  ^$ n8 p3 c4 J( n, l6 {function utf8(str) {* P* {3 H% d! c; J
   return hexString(getUTF8Bytes(str));
7 c. m9 E5 G0 y" @- y5 T}1 w& s! e# n2 n+ ?/ w1 L. }# S
调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。, A# m; A5 Z/ b
AD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表