golang 调用HBase的方法总结

• 1. 背景
• 2. golang调用HBase
• • 2.1. 为什么用hbase
  • 2.2. Hbase安装
  • • Linux或者Mac系统
    • Windows安装(第一种方式)
    • Windows安装(第二种方式 docker)
    • 利用docker搭建集群
  • 2.3. import包直接调用HBase
  • 2.4. 通过thrift接口调用HBase
  • • thrift是什么？
    • hbase的thrift接口**
    • 使用说明详解

1. 背景

由于项目中要存储海量的数据，传统的mysql等已经不能再满足需求，于是对项目进行改造。Hbase和RDBMS的比较可参考link，网上这类文章很多，读者可自行了解。

2. golang调用HBase

2.1. 为什么用hbase

因为原本的代码逻辑主要调用MySQL，而随着数据量的增大，查询非常耗时，如果再做分库分表会带来两个问题：

1. 原本业务逻辑大幅度修改
2. 随着时间变长，业务量扩大，数据库容量还是不够用，可扩展性待检讨；

2.2. Hbase安装

Linux或者Mac系统

很简单，自行百度即可

Windows安装(第一种方式)

需替换window环境的编译包
可参考
注意hadoop和hbase的版本关系
点击查看

Windows安装(第二种方式 docker)

1. 拉镜像
   docker pull harisekhon/hbase:2.1
2. 启动
   docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201 -p 16301:16301 --name hbase2.1 harisekhon/hbase:2.1

利用docker搭建集群

需要注意zookeeper版本不能太低。（官方建议3.4以上，推荐3.4.10）具体方法

2.3. import包直接调用HBase

该方法比较简单，在不考虑性能或者没有高并发的demo代码中推荐使用。可参考github，大佬写的包，具体使用github上写的很清楚，也可参考笔者的simple demo，在hbase2.2下没有问题。

2.4. 通过thrift接口调用HBase

thrift是什么？

=> 百度百科打钱

hbase的thrift接口**

=> 简述

使用说明详解

1. 下载thrft windons版download
2. 将其重命名成thrift并添加到环境变量(方便后面编译)，执行
   thrift --version
   能运行出version说明此步OK
   
3. 打开下载好的hbase,，找到hbase-2.2.2-bin\hbase-2.2.2\lib\hbase-thrift-2.2.2.jar，解压。
4. 解压后为一个hbase-thrift-2.2.2的文件夹，进入如下目录 hbase-thrift-2.2.2\org\apache\hadoop\hbase\thrift2，(注：此步用thrift1 和thrift2 影响不大，详情百度thrift1和thrift2的区别)。打开命令行，执行
   thrift -r -out . --gen go *.thrift
   得到一个hbase的文件夹。
5. 将得到的文件夹放入到项目中直接引用即可。例子可见笔者simple demo。

遇到的问题和微不足道的经验

1. 经笔者测试，thrift接口比导包的快100倍不止。
2. 老版本的thrift和hbase(2017年以前的)，不支持ctx，所以复杂的分布式如果需要链路传值的话需要自行查阅资料，本人测试发现ctx好像不会传递，有会的小伙伴可以留言。

标签：docker,调用,golang,2.2,HBase,hbase,thrift
来源： https://blog.csdn.net/kemuxiaozi000/article/details/116329609