[技术笔记] 【上海校区】HBase 中加盐（Salting）之后的表如何读取：MapR...

本帖最后由彼岸话雨于 2019-5-20 10:22 编辑

HBase 中加盐（Salting）之后的表如何读取：MapReduce 篇

前两篇文章，《HBase 中加盐（Salting）之后的表如何读取：协处理器篇》和《HBase 中加盐（Salting）之后的表如何读取：Spark 篇》分别介绍了两种方法读取加盐之后的 HBase 表。本文将介绍如何在 MapReduce 读取加盐之后的表。

在 MapReduce 中也可以使用《HBase 中加盐（Salting）之后的表如何读取：Spark 篇》文章里面的 SaltRangeTableInputFormat 。剩余的就要求我们编写一个 Mapper，来解析查询出来的数据，代码如下：

[Java] 纯文本查看 复制代码

package com.iteblog.data.hadoop;
 
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;
 
import java.io.IOException;
import java.util.List;
import java.util.StringJoiner;
 
public class HBaseMapper extends TableMapper<Text, Text> {
    @Override
    protected void map(ImmutableBytesWritable key,
                       Result value,
                       Context context) throws IOException, InterruptedException {
 
        String rowKey = Bytes.toString(value.getRow());
        List<Cell> cells = value.listCells();
        StringJoiner stringJoiner = new StringJoiner("\n");
        for (Cell cell : cells) {
            String family = Bytes.toString(cell.getFamilyArray(),
                    cell.getFamilyOffset(), cell.getFamilyLength());
 
            String qualifier = Bytes.toString(cell.getQualifierArray(),
                    cell.getQualifierOffset(), cell.getQualifierLength());
 
            String v = Bytes.toString(cell.getValueArray(),
                    cell.getValueOffset(), cell.getValueLength());
 
            stringJoiner.add("column=" + family + ":" + qualifier
                    + ", timestamp=" + cell.getTimestamp() + ", value=" + v) ;
        }
 
        context.write(new Text(rowKey), new Text(stringJoiner.toString()));
    }
}

这个 Mapper 程序将查询出来的数据进行解析，其代码和《HBase 中加盐（Salting）之后的表如何读取：协处理器篇》里面的协处理器服务端的数据解析很类似。因为表有多个列，为了显示方便，我这里使用 \n 分隔符来分割每列的数据。

在这个场景下，HbaseMapper 类已经将数据解析好了，所以我们不需要编写 Reducer，我们直接把数据存储到 HDFS 上，所以我们的驱动程序实现就很简单了，如下：

[Java] 纯文本查看 复制代码

package com.iteblog.data.hadoop;
 
import com.iteblog.data.spark.SaltRangeTableInputFormat;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
 
import java.io.IOException;
 
public class Hadoop {
    public static void main(String[] args) 
            throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "https://www.iteblog.com:2181");
        conf.set(TableInputFormat.SCAN_ROW_START, "1000");
        conf.set(TableInputFormat.SCAN_ROW_STOP, "1001");
 
        Job job = Job.getInstance(conf);
        job.setJobName("iteblog_HBase");
        job.setJarByClass(Hadoop.class);
 
        job.setNumReduceTasks(1);
        TableMapReduceUtil.initTableMapperJob("iteblog",
                new Scan(),
                HBaseMapper.class,
                Text.class,
                Text.class,
                job, true, SaltRangeTableInputFormat.class);
 
        FileOutputFormat.setOutputPath(job, new Path("hdfs://www.iteblog.com:8020/result/"));
        LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);
 
        int result = job.waitForCompletion(true) ? 0 : 1;
    }
}

最后我们编译打包上面的类，然后使用下面命令运行这个 MapReduce 程序

[Shell] 纯文本查看 复制代码

hadoop jar ~/hbase-1.0-SNAPSHOT.jar com.iteblog.data.hadoop.Hadoop

我们可以看到

程序运行完之后，会在 hdfs://www.iteblog.com:8020/result/ 目录下生产最终的结果，如下：

[Shell] 纯文本查看 复制代码

[root@master hadoop-2.7.7]# hadoop fs -ls /result
Found 2 items
-rw-r--r--   1 iteblog supergroup          0 2019-02-02 22:54 /result/_SUCCESS
-rw-r--r--   1 iteblog supergroup      14442 2019-02-02 22:54 /result/part-r-00000
 
A-1000-1550572395399    column=f:age, timestamp=1549091990253, value=54
column=f:uuid, timestamp=1549091990253, value=e9b10a9f-1218-43fd-bd01
A-1000-1550572413799    column=f:age, timestamp=1549092008575, value=4
column=f:uuid, timestamp=1549092008575, value=181aa91e-5f1d-454c-959c
A-1000-1550572414761    column=f:age, timestamp=1549092009531, value=33
column=f:uuid, timestamp=1549092009531, value=19aad8d3-621a-473c-8f9f
B-1000-1550572388491    column=f:age, timestamp=1549091983276, value=1
column=f:uuid, timestamp=1549091983276, value=cf720efe-2ad2-48d6-81b8
B-1000-1550572392922    column=f:age, timestamp=1549091987701, value=7
column=f:uuid, timestamp=1549091987701, value=8a047118-e130-48cb-adfe
B-1000-1550572424681    column=f:age, timestamp=1549092019451, value=57
column=f:uuid, timestamp=1549092019451, value=4217ab00-7cb9-4a81-bf29
C-1000-1550572390493    column=f:age, timestamp=1549091985284, value=89
column=f:uuid, timestamp=1549091985284, value=414d7df1-1925-4aaa-8298

转载自过往记忆（https://www.iteblog.com/）

帐号		自动登录	找回密码
密码			加入黑马

[技术笔记] 【上海校区】HBase 中加盐（Salting）之后的表如何读取：MapR...

0 个回复