黑马程序员技术交流社区

标题: 大文件的读取 [打印本页]

---

作者: 李长波    时间: 2012-11-10 16:01
标题: 大文件的读取


看了基础视频想问下大家！对于大文件的读取的解决方案！要求效率！同样写大文件大家有什么解决方案！

---

作者: 李长波    时间: 2012-11-10 16:02
看了基础视频想问下大家！对于大文件的读取的解决方案！要求效率！同样写大文件大家有什么解决方案！

---

作者: 奋斗的青春    时间: 2012-11-10 16:11
无非是clob和blob.

1. Java代码
   
2. 　　Blob blob = rs.getBlob("article_content");
   
3. 　　InputStream instream = blob.getBinaryStream();
   
4. 　　int flength=(int)blob.length();
   
5. 　　byte[] b = new byte[flength];
   
6. 　　byte[] nb=new byte[1024];
   
7. 　　int len=0;
   
8. 　　int tlen=0;
   
9. 　　while(flength>0){
   
10. 　　len=instream.read(nb);
    
11. 　　System.arraycopy(nb, 0, b, tlen, len);
    
12. 　　tlen+=len;
    
13. 　　flength-=len;
    
14. 　　}
    
15. 　　instream.close();
    
16. 　　a.setArticleContent(new String(b,"GBK"));

复制代码

---

作者: 平凡是福    时间: 2012-11-10 16:12
我也想知道，有什么好方法

---

作者: 李长波    时间: 2012-11-12 10:40


上网查了半天  总算给出了大文件读的解决方案！


java读取一个200M的文本格式文件，而且还需要对文件的内容做解析，进行分词。如果用JVM的默认设置，利用Scanner类只能读出4M大小内容，于是我就在网上搜索，但是网上没有找到一篇文章是我所需要的内容。于是我只好翻thinking in java，发现了一个java的nio里有个MappedByteBuffer类，他的作用可以把一个文件映射到内存中，然后就能像访问数组一样去读取这个文件。于是我在JDK中查了MappedByteBuffer的详细的用法，然后将其和Scanner类结合一下，便能得到一边读取大文件，一边解析读取的内容了功能了，具体的代码如下：

public void readResource() {
   long fileLength = 0;
   final int BUFFER_SIZE = 0x300000;// 3M的缓冲
  
   for(String fileDirectory:this.readResourceDirectory())//得到文件存放路径，我这里使用了一个方法从XML文件中读出文件的
               //存放路径，当然也可以用绝对路径来代替这里的fileDriectory
   {
   File file = new File(fileDirectory);
   fileLength = file.length();
   try {
     MappedByteBuffer inputBuffer =
     new RandomAccessFile(file,"r").getChannel().map(FileChannel.MapMode.READ_ONLY, 0, fileLength);//读取大文件

所以大家有问题先百度吧！网上一定有解决方案！
   
     byte[] dst = new byte[BUFFER_SIZE];//每次读出3M的内容
   
     for(int offset=0; offset < fileLength; offset+= BUFFER_SIZE)
     {
       if(fileLength - offset >= BUFFER_SIZE)
       {
           for(int i = 0;i < BUFFER_SIZE;i++)
           dst = inputBuffer.get(offset + i);
       }
       else
       {
         for(int i = 0;i < fileLength - offset;i++)
               dst = inputBuffer.get(offset + i);
         }
       //将得到的3M内容给Scanner，这里的XXX是指Scanner解析的分隔符
       Scanner scan = new Scanner(new ByteArrayInputStream(dst)).useDelimiter("XXX");
       while(scan.hasNext())
       {
           //这里为对读取文本解析的方法
       }         
       scan.close();
     }
   } catch (Exception e)
   {
     e.printStackTrace();
   }
   }
}

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2