一、使用mr生成对应hbase table的hfile
maper中写入库逻辑,reduce是用hbase自带的,outputformat用的是hfileoutputformat
Configuration conf = new Configuration(); Job jobAfter = new Job(conf2); jobAfter.setJarByClass(Test.class); jobAfter.setMapperClass(LogicMapper.class);//在mapper中写业务逻辑 jobAfter.setMapOutputKeyClass(ImmutableBytesWritable.class);//只能是ImmutableBytesWritable类 jobAfter.setMapOutputValueClass(Put.class);//只能是put或keyvalue类型 FileOutputFormat.setOutputPath(jobAfter, new Path("/user/hadoop/bulkload/data")); jobAfter.setOutputFormatClass(HFileOutputFormat.class); HTable table=new HTable(conf,conf.get("tableName")); HFileOutputFormat.configureIncrementalLoad(jobAfter, table);//根据map输出key和value设置reduce class;根据htable的region数,设置reduce数 jobAfter.waitForCompletion(true);
二、
将hfile导入到hbase中
hadoop jar hbase-VERSION.jar completebulkload hdfs://localhost:8020/user/hadoop/bulkload/data testtable
bulkload实例二
当hbase集群和hadoop(跑MR的)集群不在一起时,就需要知道zk ip和port了
第一步
生成hfile的时候,需要hbase-site位置,里边有zk的ip和port
第二步
hadoop jar /home/q/hadoop/hbase-0.98.0-hadoop2/lib/hbase-server-0.98.0-hadoop2.jar completebulkload -Dhbase.zookeeper.quorum=192.168.xx.xx -Dhbase.zookeeper.property.clientPort=2181 hdfs://192.168.xxx.xxx:8020/user/hadoop/wfdata/testoutput xxx_table
192.168.xx.xx这是zk的ip 2181是zk的port
192.168.xxx.xxx这是hdfs上hfile的位置
相关推荐
HDFS+MapReduce+Hive+HBase十分钟快速入门.pdf
HBase MapReduce完整实例.rar
hbase 开发实例
Hadoop之Hbase从入门到精通
Hadoop-0.20.0-HDFS+MapReduce+Hive+HBase十分钟快速入门
hbase从入门到编程 - 文档.pdf 。hbase从入门到编程 - 文档.pdf 。hbase从入门到编程 - 文档.pdf 。
HDFS+MapReduce+Hive+HBase十分钟快速入门
HBase原理及实例
HDFS+MapReduce+Hive+HBase十分钟快速入门,包括这几个部分的简单使用
hadoop hbase从入门到精通 这文档不错, 佩服作者的实力!
deploy.sh build single 构建并启动一个hbase单实例 deploy.sh start single 启动hbase实例 deploy.sh stop single 停止hbase实例 deploy.sh check single 检测hbase实例状态 deploy.sh connect single 连接...
Hadoop之Hbase从入门到精通.doc
本代码是java链接并操作hbase的实例代码,原本供同事参考所用,引用的jar包并没有经过详细分析,可能有冗余。
deploy.sh build single 构建并启动一个hbase单实例 deploy.sh start single 启动hbase实例 deploy.sh stop single 停止hbase实例 deploy.sh check single 检测hbase实例状态 deploy.sh connect single 连接...
一、 HBase技术介绍 HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源...
hbase
Hadoop之Hbase从入门到精通 .doc