黑马程序员技术交流社区

标题: 【上海校区】HBase 中加盐（Salting）之后的表如何读取：MapR... [打印本页]
作者: 彼岸话雨    时间: 2019-5-20 10:20
标题: 【上海校区】HBase 中加盐（Salting）之后的表如何读取：MapR...
本帖最后由 彼岸话雨 于 2019-5-20 10:22 编辑

HBase 中加盐（Salting）之后的表如何读取：MapReduce 篇

      前两篇文章，《HBase 中加盐（Salting）之后的表如何读取：协处理器篇》 和 《HBase 中加盐（Salting）之后的表如何读取：Spark 篇》 分别介绍了两种方法读取加盐之后的 HBase 表。本文将介绍如何在 MapReduce 读取加盐之后的表。
      在 MapReduce 中也可以使用 《HBase 中加盐（Salting）之后的表如何读取：Spark 篇》 文章里面的 SaltRangeTableInputFormat 。剩余的就要求我们编写一个 Mapper，来解析查询出来的数据，代码如下：
[Java] 纯文本查看 复制代码
package com.iteblog.data.hadoop;

 

import org.apache.hadoop.hbase.Cell;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.io.ImmutableBytesWritable;

import org.apache.hadoop.hbase.mapreduce.TableMapper;

import org.apache.hadoop.hbase.util.Bytes;

import org.apache.hadoop.io.Text;

 

import java.io.IOException;

import java.util.List;

import java.util.StringJoiner;

 

public class HBaseMapper extends TableMapper<Text, Text> {

    @Override

    protected void map(ImmutableBytesWritable key,

                       Result value,

                       Context context) throws IOException, InterruptedException {

 

        String rowKey = Bytes.toString(value.getRow());

        List<Cell> cells = value.listCells();

        StringJoiner stringJoiner = new StringJoiner("\n");

        for (Cell cell : cells) {

            String family = Bytes.toString(cell.getFamilyArray(),

                    cell.getFamilyOffset(), cell.getFamilyLength());

 

            String qualifier = Bytes.toString(cell.getQualifierArray(),

                    cell.getQualifierOffset(), cell.getQualifierLength());

 

            String v = Bytes.toString(cell.getValueArray(),

                    cell.getValueOffset(), cell.getValueLength());

 

            stringJoiner.add("column=" + family + ":" + qualifier

                    + ", timestamp=" + cell.getTimestamp() + ", value=" + v) ;

        }

 

        context.write(new Text(rowKey), new Text(stringJoiner.toString()));

    }

}
      这个 Mapper 程序将查询出来的数据进行解析，其代码和 《HBase 中加盐（Salting）之后的表如何读取：协处理器篇》 里面的协处理器服务端的数据解析很类似。因为表有多个列，为了显示方便，我这里使用 \n 分隔符来分割每列的数据。
      在这个场景下，HbaseMapper 类已经将数据解析好了，所以我们不需要编写 Reducer，我们直接把数据存储到 HDFS 上，所以我们的驱动程序实现就很简单了，如下：
[Java] 纯文本查看 复制代码
package com.iteblog.data.hadoop;

 

import com.iteblog.data.spark.SaltRangeTableInputFormat;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.mapreduce.TableInputFormat;

import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;

import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

 

import java.io.IOException;

 

public class Hadoop {

    public static void main(String[] args) 

            throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf = HBaseConfiguration.create();

        conf.set("hbase.zookeeper.quorum", "https://www.iteblog.com:2181");

        conf.set(TableInputFormat.SCAN_ROW_START, "1000");

        conf.set(TableInputFormat.SCAN_ROW_STOP, "1001");

 

        Job job = Job.getInstance(conf);

        job.setJobName("iteblog_HBase");

        job.setJarByClass(Hadoop.class);

 

        job.setNumReduceTasks(1);

        TableMapReduceUtil.initTableMapperJob("iteblog",

                new Scan(),

                HBaseMapper.class,

                Text.class,

                Text.class,

                job, true, SaltRangeTableInputFormat.class);

 

        FileOutputFormat.setOutputPath(job, new Path("hdfs://www.iteblog.com:8020/result/"));

        LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);

 

        int result = job.waitForCompletion(true) ? 0 : 1;

    }

}

      最后我们编译打包上面的类，然后使用下面命令运行这个 MapReduce 程序
[Shell] 纯文本查看 复制代码
hadoop jar ~/hbase-1.0-SNAPSHOT.jar com.iteblog.data.hadoop.Hadoop
我们可以看到


程序运行完之后，会在 hdfs://www.iteblog.com:8020/result/ 目录下生产最终的结果，如下：
[Shell] 纯文本查看 复制代码
[root@master hadoop-2.7.7]# hadoop fs -ls /result

Found 2 items

-rw-r--r--   1 iteblog supergroup          0 2019-02-02 22:54 /result/_SUCCESS

-rw-r--r--   1 iteblog supergroup      14442 2019-02-02 22:54 /result/part-r-00000

 

A-1000-1550572395399    column=f:age, timestamp=1549091990253, value=54

column=f:uuid, timestamp=1549091990253, value=e9b10a9f-1218-43fd-bd01

A-1000-1550572413799    column=f:age, timestamp=1549092008575, value=4

column=f:uuid, timestamp=1549092008575, value=181aa91e-5f1d-454c-959c

A-1000-1550572414761    column=f:age, timestamp=1549092009531, value=33

column=f:uuid, timestamp=1549092009531, value=19aad8d3-621a-473c-8f9f

B-1000-1550572388491    column=f:age, timestamp=1549091983276, value=1

column=f:uuid, timestamp=1549091983276, value=cf720efe-2ad2-48d6-81b8

B-1000-1550572392922    column=f:age, timestamp=1549091987701, value=7

column=f:uuid, timestamp=1549091987701, value=8a047118-e130-48cb-adfe

B-1000-1550572424681    column=f:age, timestamp=1549092019451, value=57

column=f:uuid, timestamp=1549092019451, value=4217ab00-7cb9-4a81-bf29

C-1000-1550572390493    column=f:age, timestamp=1549091985284, value=89

column=f:uuid, timestamp=1549091985284, value=414d7df1-1925-4aaa-8298

转载自过往记忆（https://www.iteblog.com/）







欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2