Cho-SangHyun / leveldb-wiki-kor

2022 DKU LevelDB study

LevelDB WIKI

DKU System Software Lab에서 진행한 2022 LevelDB 스터디를 통해 작성된 LevelDB wiki입니다.
학생들이 스터디를 통해 LevelDB를 공부한 내용을 정리하여 작성한 문서입니다.

이 문서는 LevelDB의 배경, 구조, 분석 그리고 분석하는 방법에 대해 설명합니다.
DKU System Software Lab의 홈페이지에서 LevelDB WIKI를 전자책으로 편하게 읽어보실 수 있습니다.

문서 내용에 오류가 있거나, 추가사항이 있으시다면 언제든지 Pull Request를 통해 기여해주시면 감사하겠습니다.

저자

• 학생:
  • 1.WAL/Manifest: 김이수, 박세연, 신수환
  • 2.Memtable: 조태규, 쥬용지에
  • 3.Compaction: 강상우, 박서영, 좌오꾸와쒼
  • 4.SSTable: 박종기, 조상현
  • 5.Bloom Filter: 김한수
  • 6.Cache: 하승원, 홍수빈
• 조교: 최민국
• 선임 조교: 이성현, 신호진
• 교수님: 최종무, 유시환

목차

배경

1. 키-밸류 스토어란 무엇인가?
2. 왜 오픈소스 인가?
3. 키-밸류 스토어 채용 현황

LevelDB 코드 분석

0. Overall
1. Key-Value Interface
2. [WAL]
3. [Memtable]
4. [Compaction]
5. SSTable
   • SSTable Format
   • SSTable Write
   • SSTable Read
6. Bloom Filter
7. [Cache]
8. [Manifest]
9. LevelDB db_bench

벤치마크 실험 분석

• WAL
  • 실험 1
  • 실험 2
  • 실험 3
• Memtable
• Compaction
• SSTable
• Bloom Filter
• Cache

YCSB 튜닝 대회

• 워크로드 및 대회 소개
• Team SSTable 레포트
• Team Bloom Filter 레포트
• Team WAL/Manifest 레포트
• Team Memtable 레포트
• Team Cache 레포트
• Team Compaction 레포트

부록

1.LevelDB 설치

2.분석툴 사용법

• Understand
• GDB (shell script)
• Uftrace (shell script)

3.LevelDB db_bench 예제

• Question
• Solution

사진

포스터

참고문헌

1. Documents

• LevelDB Document
• RocksDB Wiki
• Jongmoo Choi,『Key-Value Store: Database for Unstructured Bigdata』, 2021
• Fenggang Wu, 『LevelDB Introduction』, 2016
• rjl493456442, 『leveldb-handbook (CHS)』, 2022
• rsy56640, 『read_and_analyse_levelDB (CHS)』
• FOCUS,『LevelDB fully parsed (CHS)』
• bloomingTony, 『Research on Network and Storage Technology(CHS)』
• 木鸟杂记,『Talking about LevelDB data structure (CHS)』, 2021

2. Lecture

• Jongmoo Choi, 『Key-Value Store: Database for Unstructured Bigdata (KOR)』, 2021
• GL Tech Tutorials, 『LSM trees』, 2021
• Wei Zhou, LevelDB YouTube playlist

3. Analysis Tools

• GDB
• Understand
• Uftrace
• Draw.io

4. Real-World Workload

• Twitter cache trace
• Facebook ZippyDB

5. Previous Study

• DKU RocksDB Festival, 2021