Skip to content

Commit a768739

Browse files
committed
修改hbaseConfig相关描述
1 parent baee63f commit a768739

File tree

2 files changed

+2
-70
lines changed

2 files changed

+2
-70
lines changed

hbase11xreader/doc/hbase11xreader.md

Lines changed: 1 addition & 36 deletions
Original file line numberDiff line numberDiff line change
@@ -96,37 +96,6 @@ ROW COLUMN+CELL
9696
| xiaoming | info:company| 1457082189826 | alibaba |
9797

9898

99-
3、HbaseReader中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置,如:设置scan的cache(hbase.client.scanner.caching)、batch来优化与服务器的交互。
100-
101-
102-
如:hbase-site.xml的配置内容如下
103-
104-
```
105-
<configuration>
106-
<property>
107-
<name>hbase.rootdir</name>
108-
<value>hdfs://ip:9000/hbase</value>
109-
</property>
110-
<property>
111-
<name>hbase.cluster.distributed</name>
112-
<value>true</value>
113-
</property>
114-
<property>
115-
<name>hbase.zookeeper.quorum</name>
116-
<value>***</value>
117-
</property>
118-
</configuration>
119-
```
120-
转换后的json为:
121-
122-
```
123-
"hbaseConfig": {
124-
"hbase.rootdir": "hdfs: //ip:9000/hbase",
125-
"hbase.cluster.distributed": "true",
126-
"hbase.zookeeper.quorum": "***"
127-
}
128-
```
129-
13099
### 1.2 限制
131100

132101
1、目前不支持动态列的读取。考虑网络传输流量(支持动态列,需要先将hbase所有列的数据读取出来,再按规则进行过滤),现支持的两种读取模式中需要用户明确指定要读取的列。
@@ -162,8 +131,6 @@ ROW COLUMN+CELL
162131
"name": "hbase11xreader",
163132
"parameter": {
164133
"hbaseConfig": {
165-
"hbase.rootdir": "hdfs: //xxxx: 9000/hbase",
166-
"hbase.cluster.distributed": "true",
167134
"hbase.zookeeper.quorum": "xxxf"
168135
},
169136
"table": "users",
@@ -237,8 +204,6 @@ ROW COLUMN+CELL
237204
"name": "hbase11xreader",
238205
"parameter": {
239206
"hbaseConfig": {
240-
"hbase.rootdir": "hdfs: //xxx 9000/hbase",
241-
"hbase.cluster.distributed": "true",
242207
"hbase.zookeeper.quorum": "xxx"
243208
},
244209
"table": "users",
@@ -301,7 +266,7 @@ ROW COLUMN+CELL
301266

302267
* **hbaseConfig**
303268

304-
* 描述:每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
269+
* 描述:连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
305270

306271
* 必选:是 <br />
307272

hbase11xwriter/doc/hbase11xwriter.md

Lines changed: 1 addition & 34 deletions
Original file line numberDiff line numberDiff line change
@@ -31,37 +31,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
3131

3232
3、写入hbase的时间戳(版本)支持:用当前时间作为版本,指定源端列作为版本,指定一个时间 三种方式作为版本;
3333

34-
4、HbaseWriter中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置来优化与服务器的交互。
35-
36-
37-
如:hbase-site.xml的配置内容如下
38-
39-
```
40-
<configuration>
41-
<property>
42-
<name>hbase.rootdir</name>
43-
<value>hdfs://ip:9000/hbase</value>
44-
</property>
45-
<property>
46-
<name>hbase.cluster.distributed</name>
47-
<value>true</value>
48-
</property>
49-
<property>
50-
<name>hbase.zookeeper.quorum</name>
51-
<value>***</value>
52-
</property>
53-
</configuration>
54-
```
55-
转换后的json为:
56-
57-
```
58-
"hbaseConfig": {
59-
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
60-
"hbase.cluster.distributed": "true",
61-
"hbase.zookeeper.quorum": "***"
62-
}
63-
```
64-
6534
### 1.2 限制
6635

6736
1、目前只支持源端为横表写入,不支持竖表(源端读出的为四元组: rowKey,family:qualifier,timestamp,value)模式的数据写入;本期目标主要是替换DataX2中的habsewriter,下次迭代考虑支持。
@@ -133,8 +102,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
133102
"name": "hbase11xwriter",
134103
"parameter": {
135104
"hbaseConfig": {
136-
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
137-
"hbase.cluster.distributed": "true",
138105
"hbase.zookeeper.quorum": "***"
139106
},
140107
"table": "writer",
@@ -200,7 +167,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
200167

201168
* **hbaseConfig**
202169

203-
* 描述:每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
170+
* 描述:连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
204171

205172
* 必选:是 <br />
206173

0 commit comments

Comments
 (0)