黑马程序员技术交流社区

标题: 【上海校区】Hadoop 实验 - 熟悉常用的 HDFS 操作 [打印本页]

---

作者: 不二晨    时间: 2018-12-10 10:40
标题: 【上海校区】Hadoop 实验 - 熟悉常用的 HDFS 操作

实验目的

• 理解HDFS在Hadoop体系结构中的角色。
• 熟练使用HDFS操作常用的Shell命令。
• 熟悉HDFS操作常用的Java API。
  

实验平台

• 操作系统:Ubuntu-16.04
• Hadoop版本:2.6.0
• JDK版本:1.8
• IDE:Eclipse
  

实验内容和要求

一，编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：

• 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。
  Shell命令实现:
  • 先到Hadoop主文件夹
    cd /usr/local/hadoop
  • 启动Hadoop服务sbin/start-dfs.shsbin/start-yarn.sh
  • 创建两个任意文本文件用于实验echo "hello world" > local.txtecho "hello hadoop" >text.txt
  • 检查文件是否存在hadoop fs -test -e text.txtecho $?
  • 上传本地文件到HDFS系统(上传之后再执行一遍上一步,如果是第一次做HDFS操作第一次做这一步会出错，可以直接做一次hadoop fs -appendToFile local.txt text.txt就能解决)
    hadoop fs -put text.txt
  • 追加到文件末尾的指令
    hadoop fs -appendToFile local.txt text.txt
  • 查看HDFS文件的内容
    hadoop fs -cat text.txt
  • 覆盖原有文件的指令(覆盖之后再执行一遍上一步)
    hadoop fs -copyFromLocal -f local.txt text.txt
  • 以上步骤也可以用如下命令实现if $(hadoop fs -test -e text.txt);then $(hadoop fs -appendToFile local.txt text.txt);else $(hadoop fs -copyFromLocal -f local.txt text.txt);fiEclipse的使用
    • 找到 File 菜单，选择 New -> Project
      
      
      
      
    • 选择 Map/Reduce Project,然后Next
      
      
      
      
    • 输入 Project name,然后Finish
      
      
      
      
    • 点开项目,找到 src 文件夹，右键选择 New -> Class
      
      
      
      
    • 输入 Package 和 Name,然后Finish
      
      
      
      
    • 修改一下JRE
      
      
      
      
      
      
      
      
    • 写好Java代码（给的代码里要修改HDFS和本地路径),右键选择 Run As -> Run on Hadoop,就可以在Console里看到结果了
      
      
      
      
      
    
    
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 判断路径是否存在  */ public static boolean test(Configuration conf, String path) throws IOException {     FileSystem fs = FileSystem.get(conf);     return fs.exists(new Path(path)); } /**  * 复制文件到指定路径  * 若路径已存在，则进行覆盖  */ public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path localPath = new Path(localFilePath);     Path remotePath = new Path(remoteFilePath);     /* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二个参数表示是否覆盖 */     fs.copyFromLocalFile(false, true, localPath, remotePath);     fs.close(); } /**  * 追加文件内容  */ public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     /* 创建一个文件读入流 */     FileInputStream in = new FileInputStream(localFilePath);     /* 创建一个文件输出流，输出的内容将追加到文件末尾 */     FSDataOutputStream out = fs.append(remotePath);     /* 读写文件内容 */     byte[] data = new byte[1024];     int read = -1;     while ( (read = in.read(data)) > 0 ) {         out.write(data, 0, read);     }     out.close();     in.close();     fs.close(); } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String localFilePath = "/usr/local/hadoop/text.txt";    // 本地路径     String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径     String choice = "append";    // 若文件存在则追加到文件末尾//        String choice = "overwrite";    // 若文件存在则覆盖     try {         /* 判断文件是否存在 */         boolean fileExists = false;         if (HdfsApi.test(conf, remoteFilePath)) {             fileExists = true;             System.out.println(remoteFilePath + " 已存在.");         } else {             System.out.println(remoteFilePath + " 不存在.");         }         /* 进行处理 */         if ( !fileExists) { // 文件不存在，则上传             HdfsApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);             System.out.println(localFilePath + " 已上传至 " + remoteFilePath);         } else if ( choice.equals("overwrite") ) {    // 选择覆盖             HdfsApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);             System.out.println(localFilePath + " 已覆盖 " + remoteFilePath);         } else if ( choice.equals("append") ) {   // 选择追加             HdfsApi.appendToFile(conf, localFilePath, remoteFilePath);             System.out.println(localFilePath + " 已追加至 " + remoteFilePath);         }     } catch (Exception e) {         e.printStackTrace();     } }}
• 从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名。
  Shell命令实现:
  if $(hadoop fs -test -e /usr/local/hadoop/text.txt);then $(hadoop fs -copyToLocal text.txt ./text.txt); else $(hadoop fs -copyToLocal text.txt ./text2.txt); fi
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 下载文件到本地  * 判断本地路径是否已存在，若已存在，则自动进行重命名  */ public static void copyToLocal(Configuration conf, String remoteFilePath, String localFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     File f = new File(localFilePath);     /* 如果文件名存在，自动重命名(在文件名后面加上 _0, _1 ...) */     if (f.exists()) {         System.out.println(localFilePath + " 已存在.");         Integer i = 0;         while (true) {             f = new File(localFilePath + "_" + i.toString());             if (!f.exists()) {                 localFilePath = localFilePath + "_" + i.toString();                 break;             }         }         System.out.println("将重新命名为: " + localFilePath);     }  // 下载文件到本地     Path localPath = new Path(localFilePath);     fs.copyToLocalFile(remotePath, localPath);     fs.close();  }  /**   * 主函数   */  public static void main(String[] args) {      Configuration conf = new Configuration();  conf.set("fs.default.name","hdfs://localhost:9000");      String localFilePath = "/usr/local/hadoop/text.txt";    // 本地路径      String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径      try {          HdfsApi.copyToLocal(conf, remoteFilePath, localFilePath);          System.out.println("下载完成");      } catch (Exception e) {          e.printStackTrace();      }  }}
• 将HDFS中指定文件的内容输出到终端中。
  Shell命令实现:
  hadoop fs -cat text.txt
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 读取文件内容  */ public static void cat(Configuration conf, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     FSDataInputStream in = fs.open(remotePath);     BufferedReader d = new BufferedReader(new InputStreamReader(in));     String line = null;     while ( (line = d.readLine()) != null ) {         System.out.println(line);     }    d.close();    in.close();    fs.close(); } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径     try {         System.out.println("读取文件: " + remoteFilePath);         HdfsApi.cat(conf, remoteFilePath);         System.out.println("\n读取完成");     } catch (Exception e) {         e.printStackTrace();     } }}
• 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息。
  Shell命令实现:
  hadoop fs -ls -h text.txt
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;import java.text.SimpleDateFormat;import java.util.Date;public class HdfsApi { /**  * 显示指定文件的信息  */ public static void ls(Configuration conf, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     FileStatus[] fileStatuses = fs.listStatus(remotePath);     for (FileStatus s : fileStatuses) {         System.out.println("路径: " + s.getPath().toString());         System.out.println("权限: " + s.getPermission().toString());         System.out.println("大小: " + s.getLen());         /* 返回的是时间戳,转化为时间日期格式 */         long timeStamp = s.getModificationTime();         SimpleDateFormat format =  new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");         String date = format.format(timeStamp);           System.out.println("时间: " + date);     }     fs.close(); } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径     try {         System.out.println("读取文件信息: " + remoteFilePath);         HdfsApi.ls(conf, remoteFilePath);         System.out.println("\n读取完成");     } catch (Exception e) {         e.printStackTrace();     } }}
• 给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息。
  Shell命令实现:
  hadoop fs -ls -R -h /user/tiny
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;import java.text.SimpleDateFormat;public class HdfsApi { /**  * 显示指定文件夹下所有文件的信息（递归）  */ public static void lsDir(Configuration conf, String remoteDir) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path dirPath = new Path(remoteDir);     /* 递归获取目录下的所有文件 */     RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);     /* 输出每个文件的信息 */     while (remoteIterator.hasNext()) {         FileStatus s = remoteIterator.next();         System.out.println("路径: " + s.getPath().toString());         System.out.println("权限: " + s.getPermission().toString());         System.out.println("大小: " + s.getLen());         /* 返回的是时间戳,转化为时间日期格式 */         Long timeStamp = s.getModificationTime();         SimpleDateFormat format =  new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");         String date = format.format(timeStamp);           System.out.println("时间: " + date);         System.out.println();     }     fs.close(); }     /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteDir = "/user/tiny";    // HDFS路径     try {         System.out.println("(递归)读取目录下所有文件的信息: " + remoteDir);         HdfsApi.lsDir(conf, remoteDir);         System.out.println("读取完成");     } catch (Exception e) {         e.printStackTrace();     } }}
• 提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录。
  Shell命令实现:
  if $(hadoop fs -test -d dir1/dir2);then $(hadoop fs -touchz dir1/dir2/filename); else $(hadoop fs -mkdir -p dir1/dir2 && hdfs dfs -touchz dir1/dir2/filename); fi
  • 删除操作
    hadoop fs -rm dir1/dir2/filename
    
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 判断路径是否存在  */ public static boolean test(Configuration conf, String path) throws IOException {     FileSystem fs = FileSystem.get(conf);     return fs.exists(new Path(path)); } /**  * 创建目录  */ public static boolean mkdir(Configuration conf, String remoteDir) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path dirPath = new Path(remoteDir);     boolean result = fs.mkdirs(dirPath);     fs.close();     return result; } /**  * 创建文件  */ public static void touchz(Configuration conf, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     FSDataOutputStream outputStream = fs.create(remotePath);     outputStream.close();     fs.close();} /**  * 删除文件  */ public static boolean rm(Configuration conf, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     boolean result = fs.delete(remotePath,false);     fs.close();     return result; } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteFilePath = "/user/tiny/input/text.txt";    // HDFS路径     String remoteDir = "/user/tiny/input";    // HDFS路径对应的目录     try {         /* 判断路径是否存在，存在则删除，否则进行创建 */         if ( HdfsApi.test(conf, remoteFilePath) ) {             HdfsApi.rm(conf, remoteFilePath); // 删除             System.out.println("删除文件: " + remoteFilePath);         } else {             if ( !HdfsApi.test(conf, remoteDir) ) { // 若目录不存在，则进行创建                 HdfsApi.mkdir(conf, remoteDir);                 System.out.println("创建文件夹: " + remoteDir);             }             HdfsApi.touchz(conf, remoteFilePath);             System.out.println("创建文件: " + remoteFilePath);         }     } catch (Exception e) {         e.printStackTrace();     } }}
• 提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录。删除目录时，由用户指定当该目录不为空时是否还删除该目录。
  Shell命令实现:
  • 创建目录
    hadoop fs -mkdir -p dir1/dir2
  • 删除目录（如果目录非空则会提示not empty，不执行删除）
    hadoop fs -rmdir dir1/dir2
  • 强制删除目录
    hadoop fs -rm -r dir1/dir2
    
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 判断路径是否存在  */ public static boolean test(Configuration conf, String path) throws IOException {     FileSystem fs = FileSystem.get(conf);     return fs.exists(new Path(path)); } /**  * 判断目录是否为空  * true: 空，false: 非空  */ public static boolean isDirEmpty(Configuration conf, String remoteDir) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path dirPath = new Path(remoteDir);     RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);     return !remoteIterator.hasNext(); } /**  * 创建目录  */ public static boolean mkdir(Configuration conf, String remoteDir) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path dirPath = new Path(remoteDir);     boolean result = fs.mkdirs(dirPath);     fs.close();     return result; } /** * 删除目录  */ public static boolean rmDir(Configuration conf, String remoteDir) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path dirPath = new Path(remoteDir);     /* 第二个参数表示是否递归删除所有文件 */     boolean result = fs.delete(dirPath, true);     fs.close();     return result; } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteDir = "/user/tiny/input";    // HDFS目录     Boolean forceDelete = false;  // 是否强制删除     try {         /* 判断目录是否存在，不存在则创建，存在则删除 */         if ( !HdfsApi.test(conf, remoteDir) ) {             HdfsApi.mkdir(conf, remoteDir); // 创建目录             System.out.println("创建目录: " + remoteDir);         } else {             if ( HdfsApi.isDirEmpty(conf, remoteDir) || forceDelete ) { // 目录为空或强制删除                 HdfsApi.rmDir(conf, remoteDir);                 System.out.println("删除目录: " + remoteDir);             } else  { // 目录不为空                 System.out.println("目录不为空，不删除: " + remoteDir);             }         }     } catch (Exception e) {         e.printStackTrace();     } }}
• 向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾。
  Shell命令实现:
  • 追加到文件末尾
    hadoop fs -appendToFile local.txt text.txt
  • 追加到文件开头hadoop fs -get text.txtcat text.txt >> local.txthadoop fs -copyFromLocal -f text.txt text.txt
    
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 判断路径是否存在  */ public static boolean test(Configuration conf, String path) throws IOException {     FileSystem fs = FileSystem.get(conf);     return fs.exists(new Path(path)); } /**  * 追加文本内容  */ public static void appendContentToFile(Configuration conf, String content, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     /* 创建一个文件输出流，输出的内容将追加到文件末尾 */     FSDataOutputStream out = fs.append(remotePath);     out.write(content.getBytes());     out.close();     fs.close();} /**  * 追加文件内容  */ public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     /* 创建一个文件读入流 */     FileInputStream in = new FileInputStream(localFilePath);     /* 创建一个文件输出流，输出的内容将追加到文件末尾 */     FSDataOutputStream out = fs.append(remotePath);     /* 读写文件内容 */     byte[] data = new byte[1024];     int read = -1;     while ( (read = in.read(data)) > 0 ) {         out.write(data, 0, read);     }     out.close();     in.close();     fs.close(); } /**  * 移动文件到本地  * 移动后，删除源文件  */ public static void moveToLocalFile(Configuration conf, String remoteFilePath, String localFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     Path localPath = new Path(localFilePath);     fs.moveToLocalFile(remotePath, localPath); } /**  * 创建文件  */ public static void touchz(Configuration conf, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     FSDataOutputStream outputStream = fs.create(remotePath);     outputStream.close();     fs.close(); } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteFilePath = "/user/tiny/text.txt";    // HDFS文件     String content = "新追加的内容\n";     String choice = "after";         //追加到文件末尾//        String choice = "before";    // 追加到文件开头     try {         /* 判断文件是否存在 */         if ( !HdfsApi.test(conf, remoteFilePath) ) {             System.out.println("文件不存在: " + remoteFilePath);         } else {             if ( choice.equals("after") ) { // 追加在文件末尾                 HdfsApi.appendContentToFile(conf, content, remoteFilePath);                 System.out.println("已追加内容到文件末尾" + remoteFilePath);             } else if ( choice.equals("before") )  { // 追加到文件开头                 /* 没有相应的api可以直接操作，因此先把文件移动到本地，创建一个新的HDFS，再按顺序追加内容 */                 String localTmpPath = "/user/hadoop/tmp.txt";                 HdfsApi.moveToLocalFile(conf, remoteFilePath, localTmpPath);  // 移动到本地                 HdfsApi.touchz(conf, remoteFilePath);    // 创建一个新文件                 HdfsApi.appendContentToFile(conf, content, remoteFilePath);   // 先写入新内容                 HdfsApi.appendToFile(conf, localTmpPath, remoteFilePath);   // 再写入原来内容                 System.out.println("已追加内容到文件开头: " + remoteFilePath);             }         }     } catch (Exception e) {         e.printStackTrace();     } }}
• 删除HDFS中指定的文件。
  Shell命令实现:
  hadoop fs -rm text.txt
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 删除文件  */ public static boolean rm(Configuration conf, String remoteFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path remotePath = new Path(remoteFilePath);     boolean result = fs.delete(remotePath, false);     fs.close();     return result; } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteFilePath = "/user/tiny/text.txt";    // HDFS文件     try {         if ( HdfsApi.rm(conf, remoteFilePath) ) {             System.out.println("文件删除: " + remoteFilePath);         } else {             System.out.println("操作失败（文件不存在或删除失败）");         }     } catch (Exception e) {         e.printStackTrace();     } }}
• 删除HDFS中指定的目录，由用户指定目录中如果存在文件时是否删除目录。
  Shell命令实现:
  • 删除目录（如果目录非空则会提示not empty，不执行删除）
    hadoop fs -rmdir dir1/dir2
  • 强制删除目录
    hadoop fs -rm -R dir1/dir2
    
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 判断目录是否为空  * true: 空，false: 非空  */ public static boolean isDirEmpty(Configuration conf, String remoteDir) throws IOException {FileSystem fs = FileSystem.get(conf);     Path dirPath = new Path(remoteDir);     RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);     return !remoteIterator.hasNext(); } /**  * 删除目录  */ public static boolean rmDir(Configuration conf, String remoteDir, boolean recursive) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path dirPath = new Path(remoteDir);     /* 第二个参数表示是否递归删除所有文件 */     boolean result = fs.delete(dirPath, recursive);     fs.close();     return result; } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteDir = "/user/tiny/dir1/dir2";    // HDFS目录     Boolean forceDelete = false;  // 是否强制删除     try {         if ( !HdfsApi.isDirEmpty(conf, remoteDir) && !forceDelete ) {             System.out.println("目录不为空，不删除");         } else {             if ( HdfsApi.rmDir(conf, remoteDir, forceDelete) ) {                 System.out.println("目录已删除: " + remoteDir);             } else {                 System.out.println("操作失败");             }         }     } catch (Exception e) {         e.printStackTrace();     } }}
• 在HDFS中，将文件从源路径移动到目的路径。
  Shell命令实现:
  hadoop fs -mv text.txt input
  Java实现:
  package com.zucc.tiny.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.*;public class HdfsApi { /**  * 移动文件  */ public static boolean mv(Configuration conf, String remoteFilePath, String remoteToFilePath) throws IOException {     FileSystem fs = FileSystem.get(conf);     Path srcPath = new Path(remoteFilePath);     Path dstPath = new Path(remoteToFilePath);     boolean result = fs.rename(srcPath, dstPath);     fs.close();     return result; } /**  * 主函数  */ public static void main(String[] args) {     Configuration conf = new Configuration(); conf.set("fs.default.name","hdfs://localhost:9000");     String remoteFilePath = "hdfs:///user/tiny/text.txt";    // 源文件HDFS路径     String remoteToFilePath = "hdfs:///user/tiny/input";    // 目的HDFS路径     try {         if ( HdfsApi.mv(conf, remoteFilePath, remoteToFilePath) ) {             System.out.println("将文件 " + remoteFilePath + " 移动到 " + remoteToFilePath);         } else {                 System.out.println("操作失败(源文件不存在或移动失败)");         }     } catch (Exception e) {         e.printStackTrace();     } }}
  

二，编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。package com.zucc.tiny.hdfs;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.text.SimpleDateFormat;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;public class MyFSDataInputStream extends FSDataInputStream {    public MyFSDataInputStream(InputStream in) {        super(in);        // TODO Auto-generated constructor stub    }    public static String readline(Configuration conf, String remoteFilePath) throws IOException {         FileSystem fs = FileSystem.get(conf);         Path remotePath = new Path(remoteFilePath);         FSDataInputStream in = fs.open(remotePath);         BufferedReader d = new BufferedReader(new InputStreamReader(in));         String line = null;         if((line=d.readLine())!=null)         {             d.close();             in.close();             fs.close();             return line;         }         else{             d.close();             in.close();             fs.close();             return null;         }     }    public static void main(String[] args) {        Configuration conf = new Configuration();        conf.set("fs.default.name","hdfs://localhost:9000");        String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径        try {            System.out.println("读取文件: " + remoteFilePath);            System.out.println(MyFSDataInputStream.readline(conf, remoteFilePath));            System.out.println("\n读取完成");        } catch (IOException e) {            // TODO Auto-generated catch block            e.printStackTrace();        }    }}三，查看Java帮助手册或其它资料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。package com.zucc.tiny.hdfs;import java.io.IOException;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;public class FsUrl {    static {        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());    }    public static void cat(String remoteFilePath) throws IOException {         InputStream in = null;         try {            in = new URL("hdfs","localhost",9000,remoteFilePath).openStream();            IOUtils.copyBytes(in, System.out, 4096, false);        } finally {            IOUtils.closeStream(in);        }     }     /**      * 主函数      */     public static void main(String[] args) {         String remoteFilePath = "/user/tiny/text.txt";    // HDFS路径         try {             System.out.println("读取文件: " + remoteFilePath);             FsUrl.cat(remoteFilePath);             System.out.println("\n读取完成");         } catch (Exception e) {             e.printStackTrace();         }     }    }【转载】仅作分享，侵删链接：https://juejin.im/entry/58a57f12128fe1006cafc8d9

---

作者: 不二晨    时间: 2018-12-11 15:53

---

作者: 小影姐姐    时间: 2018-12-13 14:52

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2