Pang-GJ / bitdb

a NoSQL database based on Bitcask model, impl in C++.

bitdb

warning

经测试，协程网络库 rpc 部分存在bug，目前忙于毕设项目暂未修复。

简介

基于C++20 coroutine的“高性能”epoll网络库，使用协程可以方便地用同步的代码写出异步的效果。

ps: “高性能”是指单看echo_server，性能跟muduo接近，没有进行更多的性能测试。
同时muduo有很多内部的优化技巧，本项目暂未优化一些内部实现，所以有不少的提升空间。

期望

C++20带来了无栈协程，但是不方便普通用户使用，目前的标准库适合库作者使用。
我想慢慢地封装一层协程异步框架，计划参考rust中的实现。

编译运行

本项目采用了xmake作为构建系统、依赖管理。

# 编译
xmake build
# 运行echo_server
xmake run echo_server

目前已实现的部分

• IO多路复用（epoll）+ MultiReactor
• C++20协程支持 co_await/co_return
  • 简单使用co::Task<>即可令函数成为协程
• 线程池
• EventManager/Reactor
• TcpServer/TcpAcceptor/TcpConnection/TcpApplication
• 高性能异步日志
  • 没有合并异步日志，仍在开发中，计划封装一下fmt或者std::formatTODO
• json解析
• 类似gin的restful HTTP框架

用法

参考example/echo_server.cpp
用户需要继承TcpApplication(位于include/net/tcp_application.h) 实现自己的Tcp应用程序，
具体来说要实现三个函数：

 virtual co::Task<> OnRequest(TcpConnectionPtr conn,
                                     TcpServer &server) = 0;
 virtual co::Task<> OnOpen(TcpConnectionPtr conn) = 0;
 virtual co::Task<> OnClose(TcpConnectionPtr conn) = 0;

OnRequest表示请求到来时的回调（已经使用协程尽量减少回调的使用，但总有一些不好去除的回调，如果你有更好的想法，欢迎跟我讨论）。
OnOpen表示连接刚开启的回调
OnClose表示连接关闭时的回调

网络模型

Reactor

用户所在的线程运行main_reactor，负责监听到来的请求连接，连接后交由sub_reactor进行读写

RoadMap

• 协程
  • 目前的协程使用感觉还不是很容易
  • 缺少了不少组件，例如调度器、同步原语
• io_uring
• HTTP封装
  • 实现类似gin的简易HTTP框架
• 简单protobuf RPC实现
  • 更进一步可以使用自己实现的序列化
  • TODO: 不用写IDL的RPC
• Zero Copy

bitdb

bitdb 是一款基于 bitcask 存储模型的 nosql 数据库，目前暂时实现了存储引擎部分功能，后续会合并协程网络库、实现 Redis 数据结构、实现 raft 算法构建分布式 NoSQL 数据库。

使用

  auto options = bitdb::DefaultOptions();
  options.dir_path = "/tmp/bitdb";
  bitdb::DB* db = nullptr;
  auto status = bitdb::DB::Open(options, &db);
  if (!status.IsOk()) {
    LOG_ERROR("Open db failed. reason: {}", status.ToString());
    exit(-1);
  }
  status = db->Put("name", "bitdb-example");
  if (!status.IsOk()) {
    LOG_ERROR("DB put failed. reason: {}", status.ToString());
    exit(-1);
  }

  std::string value;
  status = db->Get("name", &value);
  if (!status.IsOk()) {
    LOG_ERROR("DB get failed. reason: {}", status.ToString());
    exit(-1);
  }
  LOG_INFO("value: {}", value);

  status = db->Delete("name");
  if (!status.IsOk()) {
    LOG_ERROR("DB delete failed. reason: {}", status.ToString());
    exit(-1);
  }
  status = db->Get("name", &value);
  if (!status.IsNotFound()) {
    LOG_ERROR("DB item still can be founded after delete. reason: {}",
              status.ToString());
    exit(-1);
  }

RoadMap

• 优化读写 IO
• Redis 数据结构
• 合并协程网络库
• 实现 raft 算法