Java利用多线程计算目录数据大小 - 黑马程序员技术交流社区

[AppleScript] 纯文本查看 复制代码

public class TotalFileSizeSequential{

    private long getTotalSizeOfFileInDir(final File file){

        if(file.isFile()){

              return file.length();

        }

        final File[] children = file.listFile();

        if(children!=null){

            for(final File child:children){

                total += getTotalSizeOfFileInDir(child);//递归遍历

          }

        }

        return total

    }



    public void static main(String[] args){

        Scanner scanner = new Scanner(System.in);

        String str = scanner.next(); //输入目录

  

        final long start = System.nanoTime();

        final long total = new TotalFileSizeSequential().getTotalSizeOfFilesInDir(new File(str));

        final long end = System.nanoTime();



        System.out.println("文件总大小 " + total);

        System.out.println("所用时间 " + (end-start)/1.0e9);

    }

}

[AppleScript] 纯文本查看 复制代码

public class NavelyConcurrentTotalFileSize{

    private long getTotalSizeOfFileInDir(ExecutorService service,File file)

                    throws InterruptedException,ExecutionException,TimeoutException{

          if(file.isFile()){

              return file.length();

          }

          long total = 0;

          final File[] children = file.listFile();



          if(children != null){

              final List<Future<Long>> partialTotalFuture = new ArrayList<Future<Long>>();

              for(final File child:children){

                  partialTotalFuture.add(service.submit(new Callable<Long>{ //执行任务

                        public Long call() throws InterruptedException,

                                      ExecutionException,TimeoutException{

                              return getTotalSizeOfFilesInDir(service,child);

                        }

                  }));

              }

              for(Future<Long> partialTotalFuture:partialTotalFutures){

                    total += partialTotalFuture.get(100,TimeUnit.SECODES);//计算结果

              }

          }

        return tatal;

    }



    private long getTotalSizeOfFile(string fileName) throws InterruptedException,

                ExecutionException,TimeoutException{

        ExecutorService service = Executors.newFixedThreadPool(100);

        try{

            return getTotalSizeOfFileInDir(service,new File(fileName));

        }finally{

            service.shutdown();

        }

    }



        public void static main(String[] args){

        Scanner scanner = new Scanner(System.in);

        String str = scanner.next(); //输入目录

  

        final long start = System.nanoTime();

        final long total = new NaivelyConcurrentTotalFileSize().getTotalSizeOfFile(str);

        final long end = System.nanoTime();



        System.out.println("文件总大小 " + total);

        System.out.println("所用时间 " + (end-start)/1.0e9);

    }



}

上面的这个例子开启了一个100大小的线程池，并在Future执行结果的时候设定了运行时间，超过运行时间将抛出异常。这里，当我们的目录没那么多文件的时候，并不存在问题，但当目录包含很大文件的时候，此时每当遇到一个子目录，就通过service.submit执行任务，既把改任务调度给其他线程，照如此下去，当我们还未深入到最底层目录时，由于线程数目的限制，导致线程池内的等待某些任务的相应，而这些任务却在ExcotorService的队列中等待执行的机会，因为线程是递归的，即从最外层到最里层，所以在等待最里层返回结果，但是最里层又没有额外的线程来执行，于是形成死锁状态。最后因为设置了超时，避免程序处于假死状态。