黑马程序员技术交流社区

标题: 问一个关于编码的问题 [打印本页]

作者: bird_not_fat 时间: 2013-10-12 18:04
标题: 问一个关于编码的问题
utf-8中的中文字符占三个字节，gbk中的中文字符占2个字节。如果用gbk编码，utf-8解码的话，比如说“你好”，用gbk编码编出来的字节数组为4个字节，再用utf -8查表解码解析出来的为什么是"???"三个问号，而不是1个或者2个问号。

作者: Jam-l 时间: 2013-10-12 18:34

public class Test3 {
public static void main(String[] args) throws IOException {
byte[] buf = "你好".getBytes("gbk");
for(byte temp:buf){
System.out.println(temp);
}
byte[] buf2 = new byte[]{-60,-29,-70,-61,0,0};
String str = new String(buf,"utf-8");
System.out.println(str);
String str1 = new String(buf2, 0, 2, "utf-8");
String str2 = new String(buf2, 3, 2, "utf-8");
System.out.println(str1 + str2);
}
}

复制代码

"你好"用gbk编码是-60,-29,-70,-61 四个字节，而你用utf-8解码却是以三个字节来解码一个字，所以utf-8解码-60,-29,-70时得出的是？？而不是？，上面代码运行可看结果，而剩下的一个-61不足3个字节，会以-61,0,0来自动补0满足3个字节，而utf-8解码-61,0,0是只有？，所以加起来就是？？？，而不是？或者？？。纯手打，望加分 = =

作者: hello菜菜 时间: 2013-10-12 18:42
当用gbk进行字符串的编码时，因为每一个汉字对应的是两个字节，即以"你好"为例就是4个字节，而utf-8中的汉字一般对应3个字节，即就是6个字节，所以当用utf-8进行解码时便将4分解成了3和1分别去utf-8表中进行匹配，当找不到对应信息时便为视为未知信息，就会出现？？，不可能出现？？？的。谢谢！

作者: bird_not_fat 时间: 2013-10-12 19:12

Jam-l 发表于 2013-10-12 18:34
"你好"用gbk编码是-60,-29,-70,-61 四个字节，而你用utf-8解码却是以三个字节来解码一个字，所以utf-8解码- ...

public class CodeDemo3 {
public static void main(String[] args) {
String hello = "大家";
byte[] bt = null;
try {
bt = hello.getBytes("gbk");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
for(byte b:bt){
//255的2进制形式为 00000000-00000000-00000000-11111111
// System.out.println(Integer.toBinaryString(255));
//位运算& 得到:11000100 11100011 10111010 11000011
System.out.println(Integer.toBinaryString(b & 255));
}
String getHello = null;
try {
getHello = new String(bt,"utf-8");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
System.out.println(getHello);
}
}

复制代码

可是如果把你好，改成“大家”，得到的就是"??"，所以我觉得可能不是这个原因。。亲再帮我想想

作者: bird_not_fat 时间: 2013-10-12 19:14

hello菜菜发表于 2013-10-12 18:42
当用gbk进行字符串的编码时，因为每一个汉字对应的是两个字节，即以"你好"为例就是4个字节，而utf-8中的汉 ...

亲，其实不是这样的，
UTF-8对所有字节都加了一个标识头信息，它按照这个标识头来告诉自己查表时到底一次读取几个字节。
当字节头为0的时候一次读取一个字节。
当字节头为(第一个字节头)1110-(第二个字节头)10-(第三个字节头)10的时候一次读取三个字节。因此一次查询三个字节这种说法是站不住的。
再帮我想想啊，嘿嘿

作者: bird_not_fat 时间: 2013-10-12 19:15

hello菜菜发表于 2013-10-12 18:42
当用gbk进行字符串的编码时，因为每一个汉字对应的是两个字节，即以"你好"为例就是4个字节，而utf-8中的汉 ...

作者: Jam-l 时间: 2013-10-12 19:21

bird_not_fat 发表于 2013-10-12 19:12
可是如果把你好，改成“大家”，得到的就是"??"，所以我觉得可能不是这个原因。。亲再帮我想想

...

public class Test3 {
public static void main(String[] args) throws IOException {
byte[] buf = "大家".getBytes("gbk");
for(byte temp:buf){
System.out.println(temp);
}
byte[] buf2 = new byte[]{-76,-13,-68,-46};
String str = new String(buf,"utf-8");
System.out.println(str);
String str1 = new String(buf2, 0, 2, "utf-8");
String str2 = new String(buf2, 3, 0, "utf-8");
System.out.println(str1 + str2);
}
}

复制代码

我弄错了，它是不会自动补0的，大家是-76,-13,-68,-46，而-76,-13,-68的utf-8编码是？？，,-46的utf-8编码是null，所以加起来是？？，不信你试试

作者: hello菜菜 时间: 2013-10-12 19:30

bird_not_fat 发表于 2013-10-12 19:15
亲，其实不是这样的，
UTF-8对所有字节都加了一个标识头信息，它按照这个标识头来告诉自己查表时到底一次 ...

亲，我看到你的代码中将输入的汉字用gbk编码后，获取时又和255进行了与运算，这样就将原来的值改变了，当再次通过utf-8进行解码时，就会按照标记号进行1位、2位、或是3位的查找，但是由于前后的编码、解码参照表不同，所以肯定会出现？，只不过出现次数不规律而已。

作者: bird_not_fat 时间: 2013-10-12 20:14

hello菜菜发表于 2013-10-12 19:30
亲，我看到你的代码中将输入的汉字用gbk编码后，获取时又和255进行了与运算，这样就将原来的值改变了，当 ...

恩啊，嘿嘿，我再想想~~3q~

作者: bird_not_fat 时间: 2013-10-12 20:22

Jam-l 发表于 2013-10-12 19:21
我弄错了，它是不会自动补0的，大家是-76,-13,-68,-46，而-76,-13,-68的utf-8编码是？？，,-46的utf-8编 ...

import java.io.UnsupportedEncodingException;
public class CodeDemo3 {
public static void main(String[] args) {
String hello = "大家";
byte[] bt = null;
try {
bt = hello.getBytes("gbk");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
for(byte b:bt){
//255的2进制形式为 00000000-00000000-00000000-11111111
// System.out.println(Integer.toBinaryString(255));
//位运算& 得到:11000100 11100011 10111010 11000011
System.out.println(Integer.toBinaryString(b & 255));
}
String getHello = null;
String getHelloPart1 = null;
String getHelloPart2 = null;
String getHelloPart3 = null;
try {
getHello = new String(bt,"utf-8");
getHelloPart1 = new String(bt,0,1,"utf-8");
getHelloPart2 = new String(bt,1,2,"utf-8");
getHelloPart3 = new String(bt,2,2,"utf-8");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
System.out.println(getHello);
System.out.println(getHelloPart1);
System.out.println(getHelloPart2);
System.out.println(getHelloPart3);
}
}

复制代码

不能这么试啊亲..我试了试，
10110100
11110011
10111100
11010010
??
?
?
??
结果发现这样拼字节的方法不好使啊。。各种?出来了。。

作者: To 时间: 2013-10-13 13:51
楼主你好，如果问题已解决请将帖子状态修改为提问结束，如果未解决请继续提问，谢谢合作

作者: To 时间: 2013-10-14 09:24
楼主你好，如果问题已解决请将帖子状态修改为提问结束，如果未解决请继续提问，谢谢合作
如果不会修改请看解释帖：http://bbs.itheima.com/thread-89313-1-1.html

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2