A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 李长波 中级黑马   /  2012-11-10 16:01  /  2132 人查看  /  4 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

本帖最后由 李长波 于 2012-11-10 16:32 编辑

看了基础视频想问下大家!对于大文件的读取的解决方案!要求效率!同样写大文件大家有什么解决方案!

评分

参与人数 1技术分 +1 收起 理由
奋斗的青春 + 1 淡定

查看全部评分

4 个回复

倒序浏览
看了基础视频想问下大家!对于大文件的读取的解决方案!要求效率!同样写大文件大家有什么解决方案!
回复 使用道具 举报
无非是clob和blob.
  1. Java代码
  2.   Blob blob = rs.getBlob("article_content");
  3.   InputStream instream = blob.getBinaryStream();
  4.   int flength=(int)blob.length();
  5.   byte[] b = new byte[flength];
  6.   byte[] nb=new byte[1024];
  7.   int len=0;
  8.   int tlen=0;
  9.   while(flength>0){
  10.   len=instream.read(nb);
  11.   System.arraycopy(nb, 0, b, tlen, len);
  12.   tlen+=len;
  13.   flength-=len;
  14.   }
  15.   instream.close();
  16.   a.setArticleContent(new String(b,"GBK"));
复制代码
回复 使用道具 举报
我也想知道,有什么好方法
回复 使用道具 举报
本帖最后由 李长波 于 2012-11-12 10:54 编辑

上网查了半天  总算给出了大文件读的解决方案!


java读取一个200M的文本格式文件,而且还需要对文件的内容做解析,进行分词。如果用JVM的默认设置,利用Scanner类只能读出4M大小内容,于是我就在网上搜索,但是网上没有找到一篇文章是我所需要的内容。于是我只好翻thinking in java,发现了一个java的nio里有个MappedByteBuffer类,他的作用可以把一个文件映射到内存中,然后就能像访问数组一样去读取这个文件。于是我在JDK中查了MappedByteBuffer的详细的用法,然后将其和Scanner类结合一下,便能得到一边读取大文件,一边解析读取的内容了功能了,具体的代码如下:

public void readResource() {
   long fileLength = 0;
   final int BUFFER_SIZE = 0x300000;// 3M的缓冲
  
   for(String fileDirectory:this.readResourceDirectory())//得到文件存放路径,我这里使用了一个方法从XML文件中读出文件的
               //存放路径,当然也可以用绝对路径来代替这里的fileDriectory
   {
   File file = new File(fileDirectory);
   fileLength = file.length();
   try {
     MappedByteBuffer inputBuffer =
     new RandomAccessFile(file,"r").getChannel().map(FileChannel.MapMode.READ_ONLY, 0, fileLength);//读取大文件

所以大家有问题先百度吧!网上一定有解决方案!
   
     byte[] dst = new byte[BUFFER_SIZE];//每次读出3M的内容
   
     for(int offset=0; offset < fileLength; offset+= BUFFER_SIZE)
     {
       if(fileLength - offset >= BUFFER_SIZE)
       {
           for(int i = 0;i < BUFFER_SIZE;i++)
           dst = inputBuffer.get(offset + i);
       }
       else
       {
         for(int i = 0;i < fileLength - offset;i++)
               dst = inputBuffer.get(offset + i);
         }
       //将得到的3M内容给Scanner,这里的XXX是指Scanner解析的分隔符
       Scanner scan = new Scanner(new ByteArrayInputStream(dst)).useDelimiter("XXX");
       while(scan.hasNext())
       {
           //这里为对读取文本解析的方法
       }         
       scan.close();
     }
   } catch (Exception e)
   {
     e.printStackTrace();
   }
   }
}
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马