049_Unicode字符编码

1. Unicode字符编码

1.1.  Unicode可以被不同的字符集兼容。最常用的编码方式是UTF-8和UTF-16。

1.2. UTF8中的字符可以是1-4个字节长。UTF-8可以表示Unicode标准中的任意字符。UTF-8向后兼容ASCII。UTF-8是网页和电子邮件的首选编码。

1.3. UTF-16: 16比特的Unicode转换格式是一种Unicode可变字符编码, 能够对全部Unicode指令表进行编码。UTF-16主要被用于操作系统和环境中, 比如微软的Windows 2000/XP/2003/Vista/CE以及Java和.NET字节代码环境。

2. Unicode和UTF-8的区别

2.1. Unicode是一个字符集。UTF-8属于编码。

2.2. Unicode是具有唯一十进制数字(代码点)的字符列表。A = 65，B = 66，C = 67，....

2.3. 更简单点理解就是Unicode是数字和字符的一对一的映射。

2.4. 这个十进制数字表示字符串"hello": 104 101 108 108 111。

2.5. 编码指的是如何将这些数字转换成存储在计算机中的二进制数字:

UTF-8编码将像这样存储"hello"(二进制): 01101000 01100101 01101100 01101100 01101111

2.6. 编码将数字转换为二进制。字符集将字符转换为数字。

3. UTF-8编码规则

3.1. 如果一个字节, 最高位(第8位)为0, 表示这是一个ASCII字符(00-7F)。可见, 所有ASCII编码已经是UTF-8了。

3.2. 如果一个字节, 以11开头, 连续的1的个数暗示这个字符的字节数, 例如: 110xxxxx代表它是双字节UTF-8字符的首字节。

3.3. 如果一个字节, 以10开始, 表示它不是首字节, 需要向前查找才能得到当前字符的首字节。

4. 下面是Unicode和UTF-8转换的规则

Unicode字符集	UTF-8编码
000000~00007F	0xxxxxxx    0是标记位, x是实际值。
000080~0007FF	110xxxxx 10xxxxxx    110和10是标记位, x是实际值。
000800~00FFFF	1110xxxx 10xxxxxx 10xxxxxx    1110和10是标记位, x是实际值。
010000~10FFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx    11110和10是标记位, x是实际值。

5. "汉"的UTF-8编码和Unicode码的转换

5.1. "汉"的UTF-8编码是0xE6B189。

5.2. E6转换为二进制1110 0110。

5.3. B1转换为二进制1011 0001。

5.4. 89转换为二进制1000 1001。

5.5. 按照三个字节Unicode和UTF-8转换的规则, 区分标记位和实际值: 1110-0110 10-110001 10-001001。

5.6. 取实际值是: 110110001001001。

5.7. 110110001001001转换为十六进制是0x6C49, 就是"汉"的Unicode码值。

6. 的UTF-8编码和Unicode码的转换

6.1. 的UTF-8编码是0xF0A08081。

6.2. F0转换为二进制1111 0000。

6.3. A0转换为二进制1010 0000。

6.4. 80转换为二进制1000 0000。

6.5. 81转换为二进制1000 0001。

6.6. 按照四个字节Unicode和UTF-8转换的规则, 区分标记位和实际值: 11110-000 10-100000 10-000000 10-000001。

6.7. 取实际值是: 100000000000000001

6.8. 100000000000000001转换为十六进制是0x20001, 就是的Unicode码值。

7. UTF-16编码

7.1. Unicode字符集的取值范围是0x0~0x10FFFF, 超出这个区间UTF-16无法表示。

7.2. 0x0~0xFFFF这段区间, 正好是16位, UTF-16和这个区间的Unicode码, 一一对应。

7.3. 0x10000~0x10FFFF这段区间, 16位存不下, UTF-16使用32位来存储。

7.4. 首先看看0x10000~0x10FFFF这段区间有多少个码位, 0x10FFFF-0x10000+1=0x100000, 这个十六进制数转换为十进制就是: 1048576个码位。

7.5. 32位分开前16位和后16位, 每个16位各存一半, 那么每一半存的就是1024(由来：√1048576=1024, 也就是1024*1024=1048576), 1024代表的是2的10次幂, 也就是10位二进制数。这样就知道了, 32位二进制数字中, 前后16位中各存10位就够用了。

8. UTF-16使用前6位来区分这16位数字代表的位置

8.1. 54开头的为32位的前16位。

8.2. 55开头的为32位的后16位。

8.3. 那么54开头的数据区间是多少呢, 就是1101 10xx xxxx xxxx, 区间就是D800~DBFF。

8.4. 那么55开头的数据区间是多少呢, 就是1101 11xx xxxx xxxx, 区间就是DC00~DFFF。

9. 为了配合UTF-16编码, Unicode字符集也将这两个区间屏蔽掉, 不允许分配任何字符。

10. Unicode码和UTF-16编码转换的规则

10.1. D800转换为二进制1101 1000 0000 0000。

10.2. DC00转换为二进制1101 1100 0000 0000。

10.3. DBFF转换为二进制1101 1011 1111 1111。

10.4. DFFF转换为二进制1101 1111 1111 1111。

10.5. D800区分标记位和实际值: 110110-0000000000。

10.6. DC00区分标记位和实际值: 110111-0000000000。

10.7. DBFF区分标记位和实际值: 110110-1111111111

10.8. DFFF区分标记位和实际值: 110111-1111111111。

10.9. 前16位最小值D800和后16位最小值DC00, 都取实际值是0, 转换为十六进制是0x0。

10.10. 前16位最大值DBFF和后16位最大值DFFF, 都取实际值是11111111111111111111, 转换为十六进制是0xFFFFF。

10.11. 0x0~0xFFFFF + 0x10000 = 0x10000~0x10FFFF。

11. 的UTF-16编码和Unicode码的转换

11.1. 的UTF-16编码是0xD840DC01。

11.2. D8转换为二进制1101 1000。

11.3. 40转换为二进制0100 0000。

11.4. DC转换为二进制1101 1100。

11.5. 01转换为二进制0000 0001。

11.6. 按照Unicode码和UTF-16编码转换的规则, 区分前16位和后16位的标记位和实际值: 110110-00 01000000 110111-00 00000001。

11.7. 取实际值是: 10000000000000001

11.8. 10000000000000001转换为十六进制是0x10001, 再加上0x10000, 0x20001就是的Unicode码值。

标签：编码,转换,Unicode,16,二进制,049,UTF
来源： https://blog.csdn.net/aihiao/article/details/118517566