登录 |  注册 |  繁體中文


PHP通过Thrift操作Hbase

分类: hbase 颜色:橙色 默认  字号: 阅读(2140) | 评论(0)

HBase是一个开源的NoSQL产品,它是实现了Google BigTable论文的一个开源产品,和Hadoop和HDFS一起,可用来存储和处理海量column family的数据。官方网址是:http://hbase.apache.org

一 、HBase访问接口

1.  Native Java API,最常规和高效的访问方式,适合Hadoop MapReduce Job并行批处理HBase表数据
2.  HBase Shell,HBase的命令行工具,最简单的接口,适合HBase管理使用
3.  Thrift Gateway,利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据
4.  REST Gateway,支持REST 风格的Http API访问HBase, 解除了语言限制
5.  Pig,可以使用Pig Latin流式编程语言来操作HBase中的数据,和Hive类似,本质最终也是编译成MapReduce Job来处理HBase表数据,适合做数据统计
6.  Hive,当前Hive的Release版本尚没有加入对HBase的支持,但在下一个版本Hive 0.7.0中将会支持HBase,可以使用类似SQL语言来访问HBase
如果使用PHP操作Hbase,推荐使用Facebook开源出来的thrift,官网是:http://thrift.apache.org/ ,它是一个类似ice的中间件,用于不同系统语言间信息交换。

二、安装Thrift

在Hadoop和Hbase都已经安装好的集群上安装Thrift,Thrift安装在Hmaster机器上

1. 下载thrift

wget http://mirror.bjtu.edu.cn/apache//thrift/0.8.0/thrift-0.8.0.tar.gz

2. 解压

tar -xzf thrift-0.8.0.tar.gz

3 .编译安装:

如果是源码编译的,首先要使用./boostrap.sh创建文件./configure ,我们这下载的tar包,自带有configure文件了。((可以查阅README文件))

If you are building from the first time out of the source repository, you will
need to generate the configure scripts.  (This is not necessary if you
downloaded a tarball.)  From the top directory, do:
./bootstrap.sh

./configure
make ; make install

4. 启动:

# ./bin/hbase-daemon.sh start thrift [--port=PORT]
starting thrift, logging to /home/banping/hbase/hbase-0.90.3/bin/../logs/hbase-root-thrift-localhost.localdomain.out

Thrift默认监听的端口是9090

使用jps查看进程,看到ThriftServer进程:

 

三、测试:

1 .php脚本库操作Hbase

PHP通过Thrift访问Hbase的库是在thrift-0.8.0/lib/php/src目录下,其实这个文件夹下也包含通过Thrift访问Hbase的PHP扩展源代码。

1)复制thrift-0.8.0/lib/php到相应的php web目录。

2)然后生成php与hbase接口文件

  #/usr/local/thrift/bin/thrift --gen php /usr/local/hbase/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift
  #(根据自己的目录设置)
 
   生成目录文件: /usr/local/hbase/gen-php/Hbase
   有文件: Hbase.php,Hbase_types.php

   把Hbase.php,Hbase_types.php copy到:web目录/php/src/packages/Hbase/

3)使用php脚本测试:

  1.   
  2. ini_set('display_errors', E_ALL);  
  3. $GLOBALS['THRIFT_ROOT'] = './php/src';  
  4.   
  5. require_once$GLOBALS['THRIFT_ROOT'] . '/Thrift.php' );  
  6. require_once$GLOBALS['THRIFT_ROOT'] . '/transport/TSocket.php' );  
  7. require_once$GLOBALS['THRIFT_ROOT'] . '/transport/TBufferedTransport.php' );  
  8. require_once$GLOBALS['THRIFT_ROOT'] . '/protocol/TBinaryProtocol.php' );  
  9. require_once$GLOBALS['THRIFT_ROOT'] . '/packages/Hbase/Hbase.php' );  
  10.   
  11. $socket = new TSocket('10.64.60.83''9090');  
  12.   
  13. $socket->setSendTimeout(10000); // Ten seconds (too long for production, but this is just a demo ;)  
  14. $socket->setRecvTimeout(20000); // Twenty seconds  
  15. $transport = new TBufferedTransport($socket);  
  16. $protocol = new TBinaryProtocol($transport);  
  17. $client = new HbaseClient($protocol);  
  18.   
  19. $transport->open();  
  20.   
  21. //获取表列表  
  22. $tables = $client->getTableNames();  
  23. sort($tables);  
  24. foreach ($tables as $name) {  
  25.   
  26.     echo"  found: {$name} " );  
  27. }  
  28.    
  29. //创建新表student  
  30. $columns = array(  
  31.     new ColumnDescriptor(array(  
  32.         'name' => 'id:',  
  33.         'maxVersions' => 10  
  34.     )),  
  35.     new ColumnDescriptor(array(  
  36.         'name' => 'name:'  
  37.     )),  
  38.     new ColumnDescriptor(array(  
  39.         'name' => 'score:'  
  40.     )),  
  41. );  
  42.   
  43. $tableName = "student";  
  44. try {  
  45.     $client->createTable($tableName$columns);  
  46. } catch (AlreadyExists $ae) {  
  47.     echo"WARN: {$ae->message} " );  
  48. }  
  49. //获取表的描述  
  50.   
  51. $descriptors = $client->getColumnDescriptors($tableName);  
  52. asort($descriptors);  
  53. foreach ($descriptors as $col) {  
  54.     echo"  column: {$col->name}, maxVer: {$col->maxVersions} " );  
  55. }  
  56.   
  57. //修改表列的数据  
  58. $row = '2';  
  59. $valid = "foobar-xE7x94x9FxE3x83x93";  
  60. $mutations = array(  
  61.     new Mutation(array(  
  62.         'column' => 'score',  
  63.         'value' => $valid  
  64.     )),  
  65. );  
  66. $client->mutateRow($tableName$row$mutations);  
  67.   
  68.   
  69. //获取表列的数据  
  70. $row_name = '2';  
  71. $fam_col_name = 'score';  
  72. $arr = $client->get($tableName$row_name$fam_col_name);  
  73. // $arr = array  
  74. foreach ($arr as $k => $v) {  
  75. // $k = TCell  
  76.     echo ("value = {$v->value} , 
      "
    );  
  77.     echo ("timestamp = {$v->timestamp}  
    "
    );  
  78. }  
  79.   
  80. $arr = $client->getRow($tableName$row_name);  
  81. // $client->getRow return a array  
  82. foreach ($arr as $k => $TRowResult) {  
  83. // $k = 0 ; non-use  
  84. // $TRowResult = TRowResult  
  85.     var_dump($TRowResult);  
  86. }  
  87.   
  88. $transport->close();  
  89. ?>  


通过浏览器查看看到项目中的所有表,证明PHP可以通过thrift访问HBase了。

 

2. 使用PHP扩展的方式来使用thrift

我们使用PHP自带的phpize来生成Thtift的php扩展。该扩展的源码结构:

hadoop@ubuntu:/usr/local/hbase-0.90.4/thrift-0.8.0/lib/php/src
$ cd ext/thrift_protocol
$ /usr/local/php/bin/phpize
$ ./configure --with-php-config=/usr/local/php/bin/php-config --enable-thrift_protocol
$ make
$ make install


然后把生成的thrift_protocol.so文件配置到php.ini并重启apache服务。



姓 名: *
邮 箱:
内 容: *
验证码: 点击刷新 *   

回到顶部