A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

我要读取一个大文本,于是每次读取一小部分(假设每次读取58kb),读取出来的形式是byte数组,然后再把byte数组转化为String。现在遇上的问题是一些特殊编码如unicode最开始读取到的58kb数据不是乱码,但是往后都是乱码了。经过查找资料得知,原因是unicode一个字符要占几个字节吧,由于我分块读取所以把分界点的字符拆开了,比如只读取了半个字符。应该这就是问题所在了吧。现在我考虑的办法是分析每块读取的byte数组最后长度为10的一部分如果没有半个字符就读完,如果有半个字符就归到下一块。只是我不知该如何区分,求助。或者你们觉得我的想法有错或者有更好的想法也可以提出来。编码类型现在考虑到的有UNICODE、UTF-16BE、UTF-16LE。值得注意的是现在我已经能判断这几种编码类型了,所以问题仅仅有以上所说的

评分

参与人数 1技术分 +1 收起 理由
宁超 + 1 赞一个!

查看全部评分

1 个回复

倒序浏览
想要做这个首先要了解你要操作的字符编码。就好比utf-8:
0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
它可以有这么几种形式,虽然长度不一,但是有可以判断的依据。你只需要考虑你截取位置的下一个byte不是10开头,那就不会断字。
不同的编码要有不同的考虑方式,这个没有统一方法,就要看你对字符编码的掌握程度如何了。
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马