Hbase的訪問方式
1、Native Java API:最常規和高效的訪問方式;
2、HBase Shell:HBase的命令行工具,最簡單的接口,適合HBase管理使用;
3、Thrift Gateway:利用Thrift序列化技術,支持C++,PHP,Python等多種語言,適合其他異構系統在線訪問HBase表數據;
4、REST Gateway:支持REST 風格的Http API訪問HBase, 解除了語言限制;
5、MapReduce:直接使用MapReduce作業處理Hbase數據;
6、使用Pig/hive處理Hbase數據。
常用Java API的用法:
1、加載配置
1
2
3
4
5
|
Configuration config = HBaseConfiguration.create(); //可以自定義配置,也可以從自定義配置文件中讀取 /*config.set("hbase.zookeeper.property.clientPort", "4181"); config.set("hbase.zookeeper.quorum", "hadoop.datanode5.com,hadoop.datanode2.com,hadoop.datanode3.com"); config.set("hbase.master", "hadoop.datanode3.com\\:600000");*/ |
2、表的創建、表信息修改、表刪除
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
HBaseAdmin admin = new HBaseAdmin(config); //創建表 HTableDescriptor htd = new HTableDescriptor(tableName); htd.addFamily( new HColumnDescriptor( "cf1" )); htd.addFamily( new HColumnDescriptor( "cf2" )); admin.createTable(htd); //修改表信息 admin.disableTable(tableName); // modifying existing ColumnFamily admin.modifyColumn(tableName, new HColumnDescriptor( "cf1" )); admin.enableTable(tableName); //刪除表 admin.disableTable(Bytes.toBytes(tableName)); admin.deleteTable(Bytes.toBytes(tableName)); |
3、添加記錄
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
/** 在多次使用時,建議用HTablePool HTable table = new HTable(config, tableName); => HTablePool pool = new HTablePool(config, 1000); HTableInterface table = pool.getTable(tableName);*/ HTable table = new HTable(config, tableName); /** * 在插入操作時,默認不適用任何緩存 * 可自定義使用緩存,以及緩存大小 * 每個任務最后需要手工調用 flushCommits(); */ /*table.setAutoFlush(false); table.setWriteBufferSize(1024);*/ Put put1 = new Put(Bytes.toBytes(rowKey)); if (ts == 0 ) { put1.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); } else { //自定義版本時,從自定義的版本號,類型為long put1.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), ts,Bytes.toBytes(value)); } table.put(put1); //table.flushCommits(); |
4、查詢,根據Rowkey查詢
1
2
3
4
|
Get get1 = new Get(Bytes.toBytes(rowKey)); Result result = table.get(get1); System.out.println( "get result:" + Bytes.toString(result.getValue(Bytes.toBytes(family), Bytes.toBytes(qualifier)))); Result[] result = table.get(List<Get>); //查詢指定Rowkey的多條記錄 |
5、查詢,指定條件和rowkey區間查詢
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
Scan scan = new Scan(); //默認緩存大小為1,設置成一個合理的值,可以減少scan過程中next()的時間開銷,代價是客戶端的內存 scan.setCaching( 500 ); scan.setCacheBlocks( false ); //根據startRowKey、endRowKey查詢 //Scan scan = new Scan(Bytes.toBytes("startRowKey"), Bytes.toBytes("endRowKey")); //rowKey之外的過濾條件,在List中可以add; /**List<Filter> filters = new ArrayList<Filter>(); Filter filter = new SingleColumnValueFilter("familyName".getBytes(), "qualifierName".getBytes(), CompareOp.EQUAL, Bytes.toBytes("value")); filters.add(filter); scan.setFilter(new FilterList(filters));*/ ResultScanner scanner = table.getScanner(scan); System.out.println( "scan result list:" ); for (Result result : scanner) { System.out.println(Bytes.toString(result.getRow())); System.out.println(Bytes.toString(result.getValue(Bytes.toBytes( "data" ), Bytes.toBytes( "data1" )))); System.out.println(Bytes.toString(result.getValue(Bytes.toBytes( "data" ), Bytes.toBytes( "data2" )))); } scanner.close(); |
總結
以上所述是小編給大家介紹的hbase訪問方式之java api,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對服務器之家網站的支持!
原文鏈接:http://blog.sina.com.cn/s/blog_9c6852670102wx03.html