- 浏览: 1599965 次
- 性别:
文章分类
- 全部博客 (2929)
- 非技术 (18)
- Eclipse (11)
- JAVA (31)
- 正则表达式 (0)
- J2EE (4)
- DOS命令 (2)
- WEB前端 (52)
- JavaScript (69)
- 数据库 (8)
- 设计模式 (0)
- JFreechart (1)
- 操作系统 (1)
- 互联网 (10)
- EasyMock (1)
- jQuery (5)
- Struts2 (12)
- Spring (24)
- 浏览器 (16)
- OGNL (1)
- WebService (12)
- OSGi (14)
- 软件 (10)
- Tomcat (2)
- Ext (3)
- SiteMesh (2)
- 开源软件 (2)
- Hibernate (2)
- Quartz (6)
- iBatis (2)
最新评论
中文化和国际化问题权威解析之三:Java中文问题分析
本章从实际的中文问题中,分析问题的根本原因,以及解决之道。
注意,本章虽然着重说明 “ 中文问题 ” ,但本章所推出的结论却是适合于世界所有语言文字的。
概述
我们在实际开发中碰到的中文问题,真是形形色色,无法一一列举。但是它们不是随机产生的,而是有规律可循,有办法解决的。
我们碰到最多的中文问题,都发生在使用 Java Servlet 写 WEB 应用时。其次,使用 Java Mail API 发送 e-mail 也会有类似的问题。从表象上区分,大致上有以下几种:
- 好端端的中文显示成了问号 “?” ,且一个中文变成 2 个问号。
- 好端端的中文显示成了问号 “?” ,且一个中文变成 1 个问号。
- 好端端的中文显示成了看不懂的符号,如 “ÎÒ°®Alibaba” 。
- WEB 页面中部分中文显示正常,部分中文是乱码。
要分析这些问题的根本原因,首先要了解这些 中文字符的输入源 ,其次是了解这些字符被输出到用户浏览器经过了哪些 转换和输出环节 。中文字符可以来源于:
- 程序内嵌的中文,我们在程序里直接书写中文字符串。
- 文本文件,利用 FileInputStream 读入文件内容并转换成字符。
- XML 文件,利用 XML 解析器读入内存。
- 数据库,利用 SQL 查询,取得的结果。
- 模板文件,例如 Velocity 或 WebMacro 模板,我们使用模板生成 WEB 页面。
- JSP 页面,在 JSP 生成的 WEB 页面。
- 用户通过浏览器提交的表单。
中文字符被装入内存以后,还要经过若干个转换和输出环节,最后才能到达用户的浏览器被用户看到。
- 文本通过 response.getWriter() 输出到浏览器端。
- 浏览器读取服务器的 HTTP 响应,并将响应中包含的 HTML 页面显示在浏览器上。
- 文本可能被写入 XML 文件、文本文件、数据库中。
以上列举的任何一个环节发生错误,都可能产生 “ 乱码 ” 现象。因此发生乱码现象时,不要慌,想想这个乱码的文本是从哪里来的,又是以什么方式输出的。
字符的输入、转换、输出环节
内嵌在程序代码中的中文
因为 Java 源代码( .java )本身是一个文本文件,所以和读普通文本文件一样,编译器( javac )必须以字节流的方式读入文件内容,并以适当的编码转换成 Unicode 字符而存储在 Java 字节码文件( .class )中。例如: Java 源代码文件中包含 GBK 编码的中文字符,则使用下面的命令编译:
如果不指定
从文本文件中读入的字符
正如前面的 TestDecoding 例子 所示,在读入文本文件时,需要指定正确的编码。如果不指明编码,那么 Java 就会使用系统默认的编码来转换文件中的字节流。下列代码往往会产生问题:
XML
标准极为严格地遵守
Unicode
标准。
XML
文件的字符编码是定义在
XML
文件中,而不是定义在
XML
解析器中的。如果不明确指定,任何标准的
XML
解析总是以
UTF-8
的方式解码
XML
文件。可以用下面的方式在
XML
文件中指定字符编码:
在解码过程中,如果 注意
注意,
XML
规范并没有定义
GBK
和
GB18030
编码,因此不能在
XML
文件使用这两种编码。目前可以使用的中文编码是
GB2312
和
BIG5
。相信这种情况以后会改变。如果确实想使用中文大字符集,请指定
UTF-8
作为
XML
文件的编码。
首先,数据库一般都可以设置以何种字符编码方式存储文本;其次,数据库的客户端
—— JDBC
驱动
——
必须设置成和数据库的内置字符编码一致;最后,尽可能使用
UTF-8
存取文本数据,因为这样可以在数据库中方便地存储所有国家的文字。
注意
我们
Alibaba
的
Oracle
数据库目前采用
7
位
ASCII
码存储文本(包括中文),这是一个极大的错误,已经导致了很多问题。我们后面会讲到。
Velocity
和
WebMacro
是常用的
Java
模板系统。模板文件也是简单的文本文件。
Velocity
和
WebMacro
都可以在各自的配置文件定义读取模板所用的字符编码方式。例如
Velocity
可以这样设置:
如果是在 这样 JSP
是一种特殊的
WEB
页面,在第一次使用时,被自动编译成一个普通的
servlet
。在
JSP
的开头指定
JSP
的字符编码:
上面这行告诉 2.
使用
GBK
编码输出
JSP servlet
中的所有字符,相当于:
3.
浏览器是根据页面的
content type
来决定以何种方式来编码用户输入的表单的。例如,一个页面的
content type
是
text/html; charset=GBK
,那么,当用户按下页面中的
submit
按钮时,浏览器自动将用户的输入用
GBK
方式编码并发送回服务器端。服务器接到用户的请求后,需要用正确的方式来解码,方法是:
然后再调用 注意
必须在第一次调用
request.getParameter(parameterName)
之前调用
request.setCharacterEncoding(charset)
,因为解码是在第一次调用
request.getParameter(parameterName)
时发生的。
Servlet
规范规定,如果没有设定
request.setCharacterEncoding
,则使用
ISO-8859-1
来解码用户输入的表单,而
不是使用系统默认的编码
。
对于
multipart form
(例如,上传图片的
form
表单),情况要复杂一些。因为
servlet
并没有直接支持
multipart form
。所以大多数应用程序使用了第三方的工具包来解析
multipart form
,例如:
Oreilly COS工具包
。然而,这些工具包大多使用系统默认的编码来解析用户表单,和
servlet
规范不一致。如果你的
servlet
代码没有特别指明编码方式,则两种
form
表单将有不同的表现,必有一种情况会出现乱码现象。
Servlet
可以用两种方式向浏览器输出内容:
在此我们只讨论输出文本的情形:
response.getWriter()
。在调用
response.getWriter()
前,我们必须设置
content type
:
response.getWriter()
在
Turbine
中,在配置文件中指定下面的内容,
Turbine
会为你自动设置
content type
:
浏览器收到从
WEB
服务器返回的页面时,
2.
如果
HTTP
响应中没有指定字符集,那么浏览器会检查
HTML
页面中是否包含:
如果找到,则使用这里指定的字符编码。 文本还可能被写入
XML
文件、文本文件、数据库中。类似的,输出文件时一般都要指定字符编码。如果不指定,通常
Java
会选择系统默认的编码。这为程序运行的结果产生了不确定因素。
明白了各输入、转换、输出环节是怎样工作的,我们的分析工作就有头绪了。在深入分析之前,有不少情况,观察乱码的表面现象就可以得到大概的结论。
这个现象通常表明字符在输入时出错,也就是解码错误。
虽然输出编码是对的,但在此之前,由于错误的输入编码,每个中文字变成了两个不相干的欧洲字符。而这些欧洲字符的编码和
GBK
编码是相冲突的(但也不一定完全冲突,例如上例中的第三个字节
B0
,被转换成
GBK
的
E3A1
)。因此大部分中文被输出成两个问号。
如果出现乱码的中文字是从
Velocity
模板读入的,说明
Velocity
配置文件中的
input.encoding
设置不正确;如果这个中文字是从数据库读入的,说明数据库的配置出错,也有可能文本在保存进数据库之前就已经错了;如果这个中文字是从用户表单输入的,很可能是你忘了调用
request.setCharacterEncoding("GBK")
。
这个现象通常表明字符在输出时出错,也就是编码错误。
这很可能是因为没有设置
response.setContentType("text/html; charset=GBK")
。
这个现象通常表明字符在输入输出时都出错了。
明眼人一看就发现,实际上在这种情况下,最后输出到浏览器上的
字节流是正确的
!只是因为
content type
被设成了错误的
ISO-8859-1
编码,所以才导致浏览器显示不正确的。事实上,用户可以手工改变浏览器的设置,使浏览器使用
GBK
对字节流重新解码。
看起来象是数学中的
“
负负得正
”
。为什么会这样呢?这是因为
ISO-8859-1
编码的特殊性导致的。
ISO-8859-1
字符集的编码范围是
0000-00FF
,正好和一个字节的编码范围相对应。这种特性保证了使用
ISO-8859-1
进行编码
/
解码可以保持
编码数值
“
不变
”
。虽然中文字符在输入
JVM
时,被错误地
“
拆
”
成了两个欧洲字符,但由于输出时也是用
ISO-8859-1
,结果被
“
拆
”
开的中文字的两半又被神奇地合并在一起。
这种情形在英文版的
Linux
上最常发生,事实上我们公司的很多程序就是这样做的。英文版
Linux
的系统默认编码为
ISO-8859-1
。假设我们的
servlet
从模板中生成动态网页:
同样的代码,如果在中文
Windows
上运行,因为系统默认编码为
GBK
,因而会转变成
“一个中文变成一个问号
”
的情形。
如果页面中有部分字符不是来源于模板,而是来源于
XML
文件或
UTF-8
编码的数据库,又会转变成
“WEB页面中部分中文显示正常,部分中文是乱码
”
的情形。
此外,把一个中文字符转换成两个欧洲字符,不仅使字符串变长了一倍,影响效率,而且前面所说的和
Unicode
相关的功能一概失效:断句断词、排序、查看字符属性、格式化日期和数字。
可见,使用这种方法显示中文,引入了诸多不确定因素,实在不是一种可取的方法。但是很多程序员满足于
“
完成任务
”
,却不求甚解,不理解
Unicode
的精义。甚至网上很多的文章也主张这么做,真是可悲可叹。
很明显,这是由于同一页面中的字符是从不同的输入源取得的。假设有如下常见情形:
结果就是:
Content Type
浏览器环境
服务器环境
从模板取得的中文字
从
XML
取得的中文字
从用户表单取得的中文字
text/html
中文
Windows
中文
Windows
一个中文变成
1
个问号
一个中文变成
1
个问号
碰巧正常
英文
Linux
碰巧正常
一个中文变成
1
个问号
碰巧正常
英文
Windows
中文
Windows
一个中文变成
1
个问号
一个中文变成
1
个问号
中文变成欧洲字符
英文
Linux
中文变成欧洲字符
一个中文变成
1
个问号
中文变成欧洲字符
text/html; charset=GBK
任意
中文
Windows
正常
正常
一个中文变成
2
个问号
英文
Linux
一个中文变成
2
个问号
正常
一个中文变成
2
个问号
注意
所谓
“
碰巧正常
”
是指虽然在服务器上,一个中文被当作两个欧洲字符处理,但是输出到浏览器以后,又被重新组合成了正确的字节序列,并且浏览器按默认的选项,会以中文
GBK
解码此序列。对于
“
中文变成欧洲字符
”
的情形,可以在浏览器上人工设置字符编码为
GBK
,或是在
HTML
中设置
<meta http-equiv="Content-Type" content="text/html; charset=GBK">
标记,来显示出中文。
以上只是分析了最常见的
“
乱码
”
现象。实际上,还可能会发生更复杂一点的情形。但是无论什么情形,都可以通过仔细分析中文字符经过的每一个
输入
、
转换
、
输出
环节,来了解它的原因。
从XML
文件中读入的字符
数据库
模板文件
JSP
页面
Servlet
输出
其它输出环节
“
乱码
”
分析
一个中文变成了两个问号
“?”
一个中文变成了一个问号
“?”
中文显示成了看不懂的符号,如
“ÎÒ°®Alibaba”
WEB
页面中部分中文显示正常,部分中文是乱码
深入分析
相关推荐
《数据结构与算法分析:Java语言描述 第2版 》是国外数据结构与算法分析方面的经典教材 使用卓越的Java编程语言作为实现工具讨论了数据结构(组织大量数据的方法)和算法分析(对算法运行时间的估计) 随着计算机速度...
本文将向你详细介绍Java中编码问题出现的根本原因,你将了解到:Java 中经常遇到的几种编码格式的区别;Java中经常需要编码的场景;出现中文问题的原因分析;在开发Java web程序时可能会存在编码的几个地方,一个...
赠送jar包:flatbuffers-java-1.12.0.jar; 赠送原API文档:flatbuffers-java-1.12.0-javadoc.jar; 赠送源代码:flatbuffers-java-...人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
java国际化中文乱码问题解决包ResourceBundleEditor_v0.8.0.zip
java实现国际化中英文语言切换 java语言切换JSP国际化 java实现国际化中英文语言切换 java语言切换JSP国际化
赠送jar包:javapoet-1.11.1.jar; 赠送原API文档:javapoet-1.11.1-javadoc.jar; 赠送源代码:javapoet-1.11.1-sources.jar; 赠送Maven依赖信息文件:javapoet-1.11.1.pom; 包含翻译后的API文档:javapoet-...
赠送jar包:scala-java8-compat_2.11-0.7.0.jar; 赠送原API文档:scala-java8-compat_2.11-0.7.0-javadoc.jar; 赠送源代码:scala-java...人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
赠送jar包:protobuf-java-3.11.4.jar; 赠送原API文档:protobuf-java-3.11.4-javadoc.jar; 赠送源代码:protobuf-java-3.11.4-sources...人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
赠送jar包:javacv-1.5.7.jar; 赠送原API文档:javacv-1.5.7-javadoc.jar; 赠送源代码:javacv-1.5.7-sources.jar; 赠送Maven依赖信息文件:javacv-1.5.7.pom; 包含翻译后的API文档:javacv-1.5.7-javadoc-API...
赠送jar包:java-xmlbuilder-0.4.jar; 赠送原API文档:java-xmlbuilder-0.4-javadoc.jar; 赠送源代码:java-xmlbuilder-0.4-sources.jar; 赠送Maven依赖信息文件:java-xmlbuilder-0.4.pom; 包含翻译后的API文档...
赠送jar包:snappy-java-1.1.8.2.jar; 赠送原API文档:snappy-java-1.1.8.2-javadoc.jar; 赠送源代码:snappy-java-1.1.8.2-sources....人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
java中文乱码问题详解--- java中文乱码问题详
赠送jar包:javacv-1.5.5.jar; 赠送原API文档:javacv-1.5.5-javadoc.jar; 赠送源代码:javacv-1.5.5-sources.jar; 赠送Maven依赖信息文件:javacv-1.5.5.pom; 包含翻译后的API文档:javacv-1.5.5-javadoc-API...
jar包里面包含了:hapi解析HL7的代码范例,所需jar包。亲测可用。《Java版本》
赠送jar包:weixin-java-mp-3.5.0.jar; 赠送原API文档:weixin-java-mp-3.5.0-javadoc.jar; 赠送源代码:weixin-java-mp-3.5.0-sources...人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
java常见问题的pdf版本
第1章 :简单地介绍了Java虚拟机的历史并... 第5章:定义了Java虚拟机启动以及类和接口的加载、链接和初始化的过程; 第6章:定义了Java虚拟机指令集; 第7章:提供了一张以操作码值为索引的Java虚拟机操作码助记表。
赠送jar包:aliyun-java-sdk-kms-2.11.0.jar; 赠送原API文档:aliyun-java-sdk-kms-2.11.0-javadoc.jar...人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。 双语对照,边学技术、边学英语。
java 解析csv文件例子,csv文件 中文乱码问题
书里详细介绍了JAVA问题的产生.以及解决办法. 书为PDF格式