扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 483|回复: 0

字符串、unicode和UTF8编码之间的互相转换 - 青浦海洋数码电脑城

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
56206
发表于 2022-9-11 21:05:01 | 显示全部楼层 |阅读模式
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/% h+ U$ c+ S( W! T/ @
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。: l( R5 S9 U5 ]0 T% \

1 s8 r8 D3 T, F3 e  ^/ ^1 K# H
2 F) Y. A: E/ N8 t$ z, [7 p
( W1 y$ {5 F9 _1 p0 g1 ?: M2 a4 E" Y& K8 m$ V. d

# o8 B( z. [2 H( M6 F# l- m字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。( K* m7 x3 Y2 o2 u: v- @2 v
回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。# o! u2 V3 u0 |( _$ x9 q* |0 b
JavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:& P2 s- @4 y+ U; b* H* l( c! o
function encode(str) {6 @5 }  W9 c1 G+ ?
    var result = '';
# F: L6 X+ t, o' K    var len = str.length;
7 f4 t* U1 I; P  \    for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!
  H* M2 X( X' a: `* G9 e( ?' b' U7 R要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:
7 O$ L# R3 m" ~8 L2 @- k4 }
unicode码点(十六进制)[/td]UTF-8(二进制)
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:4 C) T2 J; h6 A$ V# B; U6 |
// 获取字符串的utf8字节流
9 B1 A8 n- \, [function getUTF8Bytes(str) {( c% k& \" d% ^% r$ e
  var bytes = [];# n" Z+ }9 v. \2 p! {5 a0 B- _
  var len = str.length;8 }  j& H6 }: U" i7 M8 a) z, v
  for (var i = 0; i = 0x10000 && code > 18) | 0xf0);                // 第一个字节
6 L& y* O7 D- s$ B6 g      bytes.push(((code >> 12) & 0x3f) | 0x80);
' M) Y7 A, q  E8 |      bytes.push(((code >> 6) & 0x3f) | 0x80);5 {$ q9 ]1 R1 |, X2 m; |# T# S% ~- {
      bytes.push((code & 0x3f) | 0x80);
+ c: I* x1 C$ ^) Y6 _9 J5 j: i6 F. S% y    } else if (code >= 0x800 && code > 12) | 0xe0);
5 i" ~9 j1 {+ d1 H  t* n      bytes.push(((code >> 6) & 0x3f) | 0x80);
( j! m/ {' `3 Y% y4 W2 A7 z, p      bytes.push((code & 0x3f) | 0x80);
# ]3 s) d3 T* ~  h0 o    } else if (code >= 0x80 && code > 6) | 0xc0);2 ~6 {' k1 w. o; r$ i" J6 A
       bytes.push((code & 0x3f) | 0x80);* h; J# ]- T! ]5 a
    } else {3 S3 n1 ~! [; {
      bytes.push(code)/ X" p6 Q( `5 M. z) k
    }0 H6 c. T& X; u4 ]
  }
0 R1 h: d1 [, V' T  return bytes;
8 ^7 g5 s* S2 m# e( V$ U2 L: e}: K2 V7 x4 L0 i" q6 y
// 将字节流转换成16进制字符串- u1 ~1 b  j  `( @: H+ N5 S: S
function hexString(bytes) {; e; F# k  D6 Q' ~: O' V6 _% b/ X
  var arr = bytes.map(function (code) {
/ G, E. N' V" g3 K& s. y    return (code).toString(16).toUpperCase();4 N, P, ^6 e, I$ N$ S; T
  });% T5 \9 Z+ @4 q. |8 d/ N: h; O
  return arr.join(' ');
* k5 s) R1 U! G4 c  R}
  h, @4 u- B0 n3 }  hfunction utf8(str) {; j6 k1 ?, p+ Q$ G6 R, g  k
   return hexString(getUTF8Bytes(str));! t% V1 J1 G' R9 R) @- H, O* Q" |2 ^% w
}& R: N5 a+ ?! E+ s% Z
调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。! U! P+ s0 ~. A- `
AD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表