SakuraTears的博客

越努力越幸运

UTF-8和GBK等编码格式转换问题

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 5.9k 阅读时长 ≈ 5 分钟

前言

在开发过程中，我们可能会遇到Java各种编码格式之间的转换问题。下面我们来研究下UTF-8和GBK等编码格式之间的相互转化。

实践

在进行编码转换时，我们用ISO-8859-1编码来接受和保存数据，并转换为相应编码。

为什么采用ISO-8859-1编码作为中间转存方案呢？

下面我们通过程序验证：

  1. 通过ISO-8859-1转存：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    public static void test(String str1,String encode) throws UnsupportedEncodingException {	
    		  System.out.println("字符串："+str1);
    		  //将str转为原编码字节流
    		  byte[] byteArray1=str1.getBytes(encode);
    		  System.out.println(byteArray1.length);
    		  //转换为一个ISO-8859-1的字符串
    		  String str2=new String(byteArray1,"ISO-8859-1");
    		  System.out.println("转成ISO-8859-1："+str2);
    		  //转回为byte数组
    		  byte[] byteArray2=str2.getBytes("ISO-8859-1");		  
    		  System.out.println(byteArray2.length);
    		  //重新用目标编码格式编码
    		  String str3=new String(byteArray2,encode);
    		  System.out.println("字符串："+str3);		  
    	}	
    public static void main(String[] args) throws UnsupportedEncodingException {
    		String str1="你好";
    		String str2="你好呀";
    		test(str1,"UTF-8");
    		test(str2,"UTF-8");
    	}

    运行结果：

     字符串：你好
 6
 转成ISO-8859-1：你好
 6
 字符串：你好
 字符串：你好呀
 9
 转成ISO-8859-1：你好呀
 9
 字符串：你好呀

  2. 通过GBK转存：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
       public static void test(String str1,String encode) throws UnsupportedEncodingException {	
    	  System.out.println("字符串："+str1);
    	  //将str转为原编码字节流
    	  byte[] byteArray1=str1.getBytes(encode);
    	  System.out.println(byteArray1.length);
    	  //转换为一个GBK的字符串
    	  String str2=new String(byteArray1,"GBK");
    	  System.out.println("转成GBK："+str2);
    	  //转回为byte数组
    	  byte[] byteArray2=str2.getBytes("GBK");		  
    	  System.out.println(byteArray2.length);
    	  //重新用目标编码格式编码
    	  String str3=new String(byteArray2,encode);
    	  System.out.println("字符串："+str3);		  
    }	
    public static void main(String[] args) throws UnsupportedEncodingException {
    	String str1="你好";
    	String str2="你好呀";
    	test(str1,"UTF-8");
    	test(str2,"UTF-8");
    }

    运行结果：

     字符串：你好
 6
 转成GBK：浣犲ソ
 6
 字符串：你好
 字符串：你好呀
 9
 转成GBK：浣犲ソ鍛�
 9
 字符串：你好�?

可以看到，当用GBK暂存UTF-8编码字符串时，字符串汉字出现了乱码。

为什么会这样？

分析

我们新增一个方法，将byte数组打印出来：

1
2
3
4
5
6
7
8
9
public static void printHex(byte[] byteArray) {
  StringBuffer sb = new StringBuffer();
  for (byte b : byteArray) {
    sb.append(Integer.toHexString((b >> 4) & 0xF));
    sb.append(Integer.toHexString(b & 0xF));
    sb.append(" ");
  }
  System.out.println(sb.toString());
};

这样上面两个的运行结果分别如下：
ISO-8859-1:

字符串：你好
e4 bd a0 e5 a5 bd 
转成ISO-8859-1：你好
e4 bd a0 e5 a5 bd 
字符串：你好
字符串：你好呀
e4 bd a0 e5 a5 bd e5 91 80 
转成ISO-8859-1：你好呀
e4 bd a0 e5 a5 bd e5 91 80 
字符串：你好呀

GBK:

字符串：你好
e4 bd a0 e5 a5 bd 
转成GBK：浣犲ソ
e4 bd a0 e5 a5 bd 
字符串：你好
字符串：你好呀
e4 bd a0 e5 a5 bd e5 91 80 
转成GBK：浣犲ソ鍛�
e4 bd a0 e5 a5 bd e5 91 3f 
字符串：你好�?

可以看到，UTF-8转换为GBK在转换回来时，最后的80变成了3f，为什么会这样？

我们使用”你好呀” 三个字来分析，它的UTF-8 的字节流为：

[e4 bd a0] [e5 a5 bd] [e5 91 80]

我们按照三个字节一组分组，用GBK处理，因为GBK是双字节编码，如下按照两两一组进行分组：

[e4 bd] [a0 e5] [a5 bd] [e5 91] [80 ?]

不够了，怎么办？它把 0x8d当做一个未知字符，用一个半角Ascii字符的 “？” 代替，变成了：

[e4 bd] [a0 e5] [a5 bd] [e5 91] \3f

数据被破坏了。

为什么 ISO-8859-1 没问题呢？

因为 ISO-8859-1 是单字节编码，因此它的分组方案是：

[e4] [bd] [a0] [e5] [a5] [bd] [e5] [91] [80]

因此中间不做任何操作，因此数据没有变化。

问题

你也许会问到，比如将“你好呀”三个字先由UTF-8转为ISO-8859-1，再由ISO-8859-1转为GBK，结果也是乱码啊，不是和下面的代码一样么，性质上？

1
2
String isoFont = new String(chinese.getBytes("UTF-8"),"ISO-8859-1");
String gbkFont = new String(isoFont.getBytes("ISO-8859-1"),"GBK");
1
2
String gbkFont = new String(chinese.getBytes("UTF-8"),"GBK");

两者的性质确实是一样的。

那与上面说的不矛盾吗？

不矛盾。上面的代码，第一步你指定了字符串编码格式为UTF-8，第二步你将其转换为GBK，肯定会乱码。可以认为你拿一个UTF-8的字符串去转GBK字符串，其实在程序里这种写法本身是错误的！

我们来看下面一段代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
public static void test2() throws UnsupportedEncodingException {
				String chinese = "你好呀";
				//GBK 测试
				String gbkChinese = new String(chinese.getBytes("GBK"),"ISO-8859-1");
				System.out.println(gbkChinese);
				printHex(gbkChinese.getBytes("ISO-8859-1"));
				String gbkTest = new String(gbkChinese.getBytes("ISO-8859-1"),"GBK");
				System.out.println(gbkTest);
				
                //UTF-8测试
				String utf8Chinese = new String(chinese.getBytes("UTF-8"),"ISO-8859-1");
				System.out.println(utf8Chinese);
				printHex(utf8Chinese.getBytes("ISO-8859-1"));
				String utfTest = new String(utf8Chinese.getBytes("ISO-8859-1"),"UTF-8");
				System.out.println(utfTest);			
}

输出结果：

ÄãºÃѽ
c4 e3 ba c3 d1 bd 
你好呀
你好呀
e4 bd a0 e5 a5 bd e5 91 80 
你好呀

可以看到，

GBK分组 ：[c4 e3]–>你 [ba c3]–>好 [d1 bd]–>呀

UTF-8分组：[e4 bd a0]–>你 [e5 a5 bd]–>好 [e5 91 80]–>呀

字符串“你好呀”在GBK编码和UTF-8编码里生成的byte数据流是不一样的。

结论

所以如何正确将两种编码格式数据进行转换？

注意：这儿的转换指的是这样，比如一个GBK编码文件，里面有“你好呀”字符串，写入到UTF-8编码文件里仍然是“你好呀”。

我们新建一个GBK编码文件，里面有你好呀，三个字符，同时将三个字用UTF-8，写入到另一个文件里。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
public class Test2 {
	public static void main(String[] args) throws Exception {
		String line = readInFile("/Users/zhangwentong/junrongdai/gbk.txt", "GBK");
		System.out.println(line);
		writeInFile("/Users/zhangwentong/junrongdai/utf8.txt", line, "UTF-8");

	}
	public static String readInFile(String fileName, String charset) {
		File gbkfile = new File(fileName);
		String line = "";
		FileInputStream gbkIO = null;
		InputStreamReader gbkISR = null;
		BufferedReader br = null;
		try {
			gbkIO = new FileInputStream(gbkfile);
			gbkISR = new InputStreamReader(gbkIO, charset);
			br = new BufferedReader(gbkISR);
			String rline = "";
			while ((rline = br.readLine()) != null) {
				line += rline;
			}
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
                try {
                    if(br!=null) fos.close();
                    if(gbkISR!=null) gbkISR.close();
                    if(gbkIO!=null) gbkIO.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
        }

		return line;
	}
	public static void writeInFile(String fileName, String content, String charset) {
		File f = new File(fileName);
		FileOutputStream fos = null;
		try {
			if (!f.exists()) {
				f.createNewFile();
			}
			fos = new FileOutputStream(f);
			fos.write(content.getBytes(charset));
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			if (fos != null) {
				try {
					fos.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
	}
}

可以测试下上段代码，GBK文字被转为了UTF-8文字。反过来一个UTF-8文件写入到GBK也是可以实现的。

所以，在读取和写入文字时，指定文字的编码格式，再进行读取和写入操作，便不会有乱码的产生。否则读取和写入时会按照执行操作的class文件的编码格式进行写入和读取。

结语

欢迎光临我的博客

https://www.sakuratears.top

我的GitHub地址

https://github.com/javazwt




-------------文章结束啦 ~\(≧▽≦)/~ 感谢您的阅读-------------

您的支持就是我创作的动力！

欢迎关注我的其它发布渠道