leveldb源码剖析_leveldb 编译

hacker|
114

文章目录:

怎样操作leveldb数据库,实现增删改查

LevelDB 简介

一、LevelDB入门

LevelDB是Google开源的持久化KV单机数据库,具有

很高的随机写,顺序读/写性能,但是随机读的性能很一般,也就是说,LevelDB很适合应用在查询较少,而写很多的场景。LevelDB应用了LSM

(Log Structured Merge)

策略,lsm_tree对索引变更进行延迟及批量处理,并通过一种类似于归并排序的方式高效地将更新迁移到磁盘,降低索引插入开销,关于LSM,本文在后

面也会简单提及。

根据LevelDB官方网站的描述,LevelDB的特点和限制如下:

特点:

1、key和value都是任意长度的字节数组;

2、entry(即一条K-V记录)默认是按照key的字典顺序存储的,当然开发者也可以重载这个排序函数;

3、提供的基本操作接口:Put()、Delete()、Get()、Batch();

4、支持批量操作以原子操作进行;

5、可以创建数据全景的snapshot(快照),并允许在快照中查找数据;

6、可以通过前向(或后向)迭代器遍历数据(迭代器会隐含的创建一个snapshot);

7、自动使用Snappy压缩数据;

8、可移植性;

限制:

1、非关系型数据模型(NoSQL),不支持sql语句,也不支持索引;

2、一次只允许一个进程访问一个特定的数据库;

3、没有内置的C/S架构,但开发者可以使用LevelDB库自己封装一个server;

LevelDB本身只是一个lib库,在源码目录make编译即可,然后在我们的应用程序里面可以直接include leveldb/include/db.h头文件,该头文件有几个基本的数据库操作接口,下面是一个测试例子:

#include iostream

#include string

#include assert.h    

#include "leveldb/db.h"    

using namespace std;

int main(void)

{      

   leveldb::DB      *db;    

   leveldb::Options  options;    

   options.create_if_missing = true;    

   // open

   leveldb::Status status = leveldb::DB::Open(options,"/tmp/testdb", db);    

   assert(status.ok());    

   string key = "name";    

   string value = "chenqi";    

   // write

   status = db-Put(leveldb::WriteOptions(), key, value);    

   assert(status.ok());    

   // read

   status = db-Get(leveldb::ReadOptions(), key, value);    

   assert(status.ok());    

   coutvalueendl;    

   // delete

   status = db-Delete(leveldb::WriteOptions(), key);    

   assert(status.ok());        

   status = db-Get(leveldb::ReadOptions(),key, value);    

   if(!status.ok()) {

       cerrkey"    "status.ToString()endl;

   } else {

       coutkey"==="valueendl;    

   }  

   // close

   delete db;    

   return 0;    

}

上面的例子演示了如何插入、获取、删除一条记录,编译代码:

g++ -o test test.cpp libleveldb.a -lpthread -Iinclude

执行./test后,会在/tmp下面生成一个目录testdb,里面包含若干文件:

------------------------------------------------------------

LevelDB

是google开源的一个key-value存储引擎库,类似于开源的Lucene索引库一样。其他的软件开发者可以利用该库做二次开发,来满足定制需

求。LevelDB采用日志式的写方式来提高写性能,但是牺牲了部分读性能。为了弥补牺牲了的读性能,一些人提议使用SSD作为存储介质。

对于本地化的Key-value存储引擎来说,简单的使用一般都分成三个基本的步骤:(1)打开一个数据库实例;(2)对这个数据库实例进行插入,修改和查询操作;(3)最后在使用完成之后,关闭该数据库。下面将详细讨论该三个步骤:

一、打开一个数据库实例

一个leveldb数据库有一个对应一个文件系统目录的名字。该数据库的所有内容都存储在这个目录下。下面的代码描述了怎样打开一个数据库或者建立一个新的数据库。

#include assert.h    

#include "leveldb/db.h"    

   

leveldb::DB* db;    

leveldb::Options options;    

options.create_if_missing = true;    

leveldb::Status status = leveldb::DB::Open(options,"/tmp/testdb", db);    

assert(status.ok());  

如果打开已存在数据库的时候,需要抛出错误。将以下代码插在leveldb::DB::Open方法前面:    

options.error_if_exists = true;

二、对数据库的简单读、写操作

LevelDB提供了Put,Delete和Get三个方法对数据库进行修改和查询。例如,下面的代码片段描述了怎样将key1对应的value值,移到key2对应的值。

std::string value;    

leveldb::Status s = db-Get(leveldb::ReadOptions(), key1, value);    

if(s.ok()) s = db-Put(leveldb::WriteOptions(), key2, value);    

if(s.ok()) s = db-Delete(leveldb::WriteOptions(), key1);

三、关闭数据库

在对数据库进行了一系列的操作之后,需要对数据库进行关闭。该操作比较简单:

... open the db as described above...    

... do something with db ...    

delete db;

上面对levelDB的简单使用做了基本的介绍,接下来就是如何自己写一个完成并且能运行的例子。

1、下载源码  git clone

2、编译源码  cd leveldb make all

3、编写test.cpp

#include assert.h    

#include string.h    

#include leveldb/db.h    

#include iostream    

   

int main(){    

       leveldb::DB* db;    

       leveldb::Options options;    

       options.create_if_missing = true;    

       leveldb::Status status = leveldb::DB::Open(options,"/tmp/testdb", db);    

       assert(status.ok());    

   

       //write key1,value1    

       std::string key="key";    

       std::string value = "value";    

   

       status = db-Put(leveldb::WriteOptions(), key,value);    

       assert(status.ok());    

   

       status = db-Get(leveldb::ReadOptions(), key, value);    

       assert(status.ok());    

       std::coutvaluestd::endl;    

       std::string key2 = "key2";    

           

       //move the value under key to key2    

           

       status = db-Put(leveldb::WriteOptions(),key2,value);    

       assert(status.ok());    

       status = db-Delete(leveldb::WriteOptions(), key);    

   

       assert(status.ok());    

           

       status = db-Get(leveldb::ReadOptions(),key2, value);    

           

       assert(status.ok());    

       std::coutkey2"==="valuestd::endl;    

           

       status = db-Get(leveldb::ReadOptions(),key, value);    

           

       if(!status.ok()) std::cerrkey"    "status.ToString()std::endl;    

       else std::coutkey"==="valuestd::endl;    

           

       delete db;    

       return 0;    

}

4、编译链接 g++ -o test test.cpp ../leveldb/libleveldb.a -lpthread -I../leveldb/include

    注意libleveldb.a 和leveldb include的路径。

5、运行结果./test:

value    

key2===value    

key    NotFound:

看leveldb源码需要哪些储备知识

eveldb:

1.Leveldb是一个google实现的非常高效的kv数据库,目前能够支持billion级别的数据量了。

在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计,特别是LMS算法。

2.LevelDB

是单进程的服务,性能非常之高,在一台4核Q6600的CPU机器上,

每秒钟写数据超过40w,而随机读的性能每秒钟超过10w。

3.LevelDB

只是一个 C/C++ 编程语言的库(有没有超级感动,哈)

4.Leveldb只是一个语言库,不包含网络服务封装,

所以无法像一般意义的存储服务器(如 MySQL)那样, 用客户端来连接它.

LevelDB

自己也声明, 使用者应该封装自己的网络服务器(这得等我学网络啦)

5.LevelDB具有很高的随机写,顺序读/写性能,但是随机读的性能很一般,

Leveldb源码有多少行

Leveldb源码有2w行。不论从nosql的存储设计,或是C++11的代码规范来看,都是很好的源码分析项目。为了更好地测试比较LevelDB的实际性能,Google的工程师也将LevelDB与另外两种数据库进行了对比。经过测试证明,LevelDB相较于另外两种数据库,无论是在基本操作环境下,还是在某些特定配置环境下,均具有非常优秀的读写性能。

Leveldb源码优点

key与value采用字符串形式,且长度没有限制。数据能持久化存储,同时也能将数据缓存到内存,实现快速读取。基于key按序存放数据,并且key的排序比较函数可以根据用户需求进行定制。支持简易的操作接口API,可以针对数据创建数据内存快照。支持前向、后向的迭代器。采用Google的Snappy压缩算法对数据进行压缩,以减少存储空间。

怎么循序渐进的学习算法?算法对于程序员有什么作用?

首先,对于大部分程序员而言,在工作中不是必须的,但是你要找工作,特别是刚毕业参加校招的学生,想进入一些比较大的公司(BAT之流),是必须要学好算法的。

此外,在提高自我技术水平的过程中,比如去阅读一些优秀的代码的时候,也是需要算法功底的,就像去看leveldb、redis源码的时候,起码得知道跳表是个啥吧,看Linux内核文件系统的代码得知道红黑树是个啥吧。

再就是有一个很重要的影响:算法学的好的话,不论对你思考问题的方式还是对你编程的思维都会有很大的好处。

另外关于刷题的网站还是首推Leetcode。

如果有一些算法基础的话,推荐Codeforces。

至于资料书籍的话,其实没有太多要求,网上的资料很多,随便谷歌一下就能找到很多详细的资料。

算法导论的话不推荐,不推荐初学者看。这本书是本神书,但是这本书的门槛比较高,需要有一定数学基础和算法基础的人去研究,如果你没有一定的基础或者对算法狂热的学习兴趣,你很难啃下去。

改了一下知识列表的结构,分了下类,可能更加清楚一点。这里面基础是我觉得必须应该掌握的,中等的是有如有余力最好学习的,高级的可以了解,可以了解一下,对于个别感兴趣的可以深入学习一下。

1条大神的评论

  • avatar
    访客 2022-07-03 上午 10:48:32

         assert(status.ok());        // read    status = db-Get(leveldb::ReadOptions(), key, value);        assert(status.ok());    

发表评论