hbase源码分析_hbase 源码解析

hbase(分布式、可扩展的NoSQL数据库)

1、HBase是一种分布式、可扩展的NoSQL数据库，它是基于Hadoop的HDFS文件系统构建的。HBase被设计用来处理海量数据，并提供高可靠性、高性能的读写操作。

2、HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文“Bigtable”：一个结构化数据的分布式存储系统。

3、HBase 是典型的 NoSQL 数据库，通常被描述成稀疏的、分布式的、持久化的，由行键、列键和时间戳进行索引的多维有序映射数据库，主要用来存储非结构化和半结构化的数据。

4、HBase的定位是hadoop的数据库，电脑培训发现是一个典型的Nosql，所以HBase是用来在大量数据中进行低延迟的随机查询的。

根据cap理论和hbase的特性,分析hbase选择的哪两种

1、性，HBase一定是你最好的选择，我推荐HBase。它始终保持强一致，我们非常喜欢一致性，丧失一致性的时候有些错误会特别诡异，很难查。

2、数据库有两种类型，分别是关系型数据库与非关系型数据库。

3、非关系型数据库，列存储和文档存储(查询低延迟)，hbase是nosql的一个种类，其特点是列式存储。

4、《HBase入门与实践》：全书共分为3个部分。前两个部分分别介绍了分布式系统和大规模数据处理的发展历史；第三部分通过真实的应用和代码示例以及支持这些实践技巧的理论知识，进一步探索HBase的一些实用技术。

5、Hbase是一个面向列存储的分布式存储系统，它的优点在于可以实现高性能的并发读写操作，同时Hbase还会对数据进行透明的切分，这样就使得存储本身具有了水平伸缩性。

6、Eric Brewer教授提出的经典CAP理论认为任何基于网络的数据共享系统，最多只能满足数据一致性、可用性、分区容忍性三要素中的两个要素。

Hbase知识点总结?

容量大：HBase 分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase 的数据在表中是按照某列存储的，根据数据动态地增加列，并且可以单独对列进行各种操作。

a. 创建一张test的表 b. 接着创建自增序列 test_sequence c. 通过自增序列，写入数据信息 注意事项：删除test表时，最好连带删除 test_sequence。先用HBase命令行启用表，然后再进行删除，或者查询。

hbase：适合大型数据存储，其作用可以类比于传统数据库的作用，主要关注的数据的存取。hive：适合大数据的管理，统计，处理，其作用类比于传统的数据仓库，主要关注的数据的处理。

HBase宕机恢复-SplitWAL

1、Hbase Split 是一个很重要的功能，HBase 通过把数据分配到一定数量的 Region 来达到负载均衡的。

2、测试环境正常，生产环境下，时不时出现HRegionServer挂掉的情况， 而HMaster正常。 重启Hbase之后，短时间内恢复正常，然而一段时间之后，再次出现RegionServer挂掉的情况。 因此，我们决定对此故障进行深入排查，找出故障原因。

3、HBase 运行在 HDFS 上，HDFS 的多副本存储可以让它在岀现故障时自动恢复，同时 HBase 内部也提供 WAL 和 Replication 机制。

HBase写数据的异常问题以及优化

HBase数据写入通常会遇到两类问题，一类是写性能较差，另一类是数据根本写不进去。

出现这种问题的原因是因为和服务器通信超时导致的。所以需要将下面两个参数的默认值进行调整。hbase.snapshot.region.timeout hbase.snapshot.master.timeoutMillis 这两个值的默认值为60000，单位是毫秒，也即1min。

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

region下的StoreFile数目越少，HBase读性能越好 Hfile可以被压缩并存放到HDFS上，这样有助于节省磁盘IO，但是读写数据时压缩和解压缩会提高CPU的利用率。

）对于读端，捕获异常后，可以采取休眠一段时间后进行重试等方式。3）当然，还可以根据实际情况合理调整hbase.client.retries.number和hbase.client.pause配置选项。

逻辑故障 逻辑故障中的一种常见情况就是配置错误，就是指因为网络设备的配置原因而导致的网络异常或故障。

如何用MapReduce程序操作hbase

对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。

当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

第一步，通过MapReduce任务生成HFile。假设这个过程使用的HDFS账号为：u_mapreduce. 第二步，将HFile加载到HBase集群，假设这个步骤使用的账号为：u_load。

MapReduce和HBase的结合可以实现大规模数据的批量处理和实时查询。通过将数据存储在HBase中，可以快速地获取数据并进行并行处理。

将数据导入HBase中有如下几种方式：使用HBase的API中的Put方法 使用HBase 的bulk load 工具 使用定制的MapReduce Job方式 使用HBase的API中的Put是最直接的方法，用法也很容易学习。

Pig，可以使用PigLatin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduceJob来处理HBase表数据，适合做数据统计。