CarmineButterfly / bigdata-learning-notes

bigdata-learning-notes

大数据

Zookeeper

• Zookeeper3.4.5 分布式安装部署
• Zookeeper 常用命令行操作
• Zookeeper 实现分布式锁

Hadoop

• Hadoop3.0 完全分部署安装部署
• Hadoop 基准测试
• Hadoop 数据迁移

git

• git

• git log format

• rpm方式 安装 gitlab

• docker方式 安装 gitlab

• gitlab 关闭注册功能

Flume

• Flume 安装部署

HBase

• HBase 生产环境调优

Hive

• Hive 安装部署
• Hive beeline连接
• Hive 导出 csv 文件
• Hive drop database删除数据库
• Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
• Hive DDL 数据定义
• Hive 查询

Kudu

• kudu异常

Kafka

• kafka 安装部署
• kafka 常用命令
• kafka 杂谈
• kafka stop 脚本有时候不起作用的原因
• kafka connector rest api

debezium/confluent

• 使用 confluent 实现 SqlServer 实时同步数据到 PostGreSql
• confluent6.0.1 平台搭建

Sentry

• CDH 安装配置Sentry
• hue: There are currently no roles defined

Phoenix

• CDH 平台安装 Apache Phoenix

ClickHouse

• ClickHouse 入门概述
• ClickHouse 安装
• ClickHouse 数据类型
• ClickHouse 表引擎
• ClickHouse 表操作

WaterDrop

• WaterDrop入门
• Hive to Hdfs

Atlas

• Atlas 安装

DolphinScheduler

• DolphinScheduler 安装
• DolphinScheduler 使用
• DolphinScheduler 本地开发环境搭建

CDH

• CentOS7.3 CDH5.13.3 安装教程
• CentOS7.7 CDH6.2.1 安装教程
• CDH 安装 Hue 连接不上MySQL
• CDH 查询 Hive执行过的SQL语句

Scala

• 1. scala 变量和数据类型
• 2. scala 流程控制
• 3. scala 函数之-语法
• 3. scala 函数之-高阶函数(高阶算子)
• 4. scala 函数之-闭包和柯里化
• 5. scala 包声明和包导入
• 6. scala 类和对象
• 7. scala 给类取别名
• 8. scala 的 trait
• 9. scala 集合的 map 映射、高阶函数使用、集合的压平、 集合的过滤、集合的简化、集合的折叠、集合的扫描、集合的拉链、集合的迭代器、集合的分组
• 10.scala 模式匹配
• 11.scala 部分应用函数与偏函数
• 12.scala 隐式转换
• 13.scala 的排序
• 14.scala API
• 15.scala 数组
• 16.scala 值调用、名调用和控制抽象

Spark

• Spark 安装部署
• Spark 常用 API
• Hive on Spark 参数调优
• Spark Streaming 的 reduceByKeyAndWindow 窗口函数
• Spark 任务停止后自动重启
• Spark源码之-CDH6下Spark2.4写Hive分区表异常
• Spark 读取HDFS失败
• Spark 读取JDBC数据源优化和源码解析
• Spark 读取JDBC数据Time类型字段异常解析

    Spark 内核

• Spark 内核概述(待补充)
• Spark 部署模式
• Spark 任务调度机制
• Spark Shuffle解析
• Spark 内存管理

    Spark 性能优化和故障处理

• Spark 性能优化
• Spark 数据倾斜解决方案
• Spark 问题及解决

Flink

• Flink 安装部署
• Flink 构成和提交流程
• Flink 并行度的划分
• Flink HelloWorld
• Flink Connectors
• Flink Window&时间语义和Watermark
• Flink ProcessFunction
• Flink 多流转换
• Flink State
• Flink CEP
• Flink 实时同步Oracle数据到Hive

---

• FLink CDC(Standalone)
• Flink CDC 集成 Iceberg 入湖

---

• Flinkx1.12 on K8s 部署

Canal

• 使用 canal 实时监控 mysql 并读取到 Kafka(scala 版)

Elasticsearch

• Docker 安装Elasticsearch
• Elasticsearch 常用操作

Kibana

• Docker 安装Kibana

Azkaban

• Azkaban 安装部署
• Azkaban 迁移机器找不到executor

MySQL

• MySQL RMP 安装
• MariaDB YUM 安装
• MySQL 常用配置
• MySQL binlog
• MySQL 慢查询日志
• MySQL 约束
• MySQL基础(尚硅谷宋红康)
• MySQL高级(尚硅谷宋红康)

Iceberg

• Iceberg - 01 基本入门
• Iceberg - 02 cdc 入湖
• Iceberg - 03 spark
• Iceberg - 04 基于 Hadoop 的数据存储结构(v2)
• Iceberg - 05 合并小文件

Java

构建工具

• Maven maven-shade-plugin
• Gradle 安装整合Idea

Nginx

• nginx 基础

• nginx

• nginx常用操作

• alias和root的区别

• nginx转发带有下划线的header异常

• nginx转发80端口到443

Redis

• centos7 安装redis
• redis 三主三从搭建
• Redis 安装(docker)
• redis 数据类型
• redis conf详解
• redis 持久化
• redis 事务
• redis 发布订阅
• redis 主从复制
• redis java客户端
• redis 数据备份与恢复
• redis 安全
• redis 性能测试

Doris

• Doris 编译安装(填坑)
• Doris 备份还原

Idea

• Idea 常用配置

设计模式

• 设计模式之工厂模式
• 设计模式之单例模式
• 设计模式之代理模式

数据结构和算法

• 数组
• 队列
• 链表

Java 基础

• Java 泛型
• Java8

JVM

• 内存与垃圾回收-1.类加载机制
• 内存与垃圾回收-2.运行时数据区和程序计数器
• 内存与垃圾回收-3.虚拟机栈
• 内存与垃圾回收-4.本地方法接口
• 内存与垃圾回收-5.本地方法栈
• 内存与垃圾回收-6.堆
• 内存与垃圾回收-7.方法区
• 内存与垃圾回收-8.对象的实例化内存布局和范文定位
• 内存与垃圾回收-9.直接内存
• 内存与垃圾回收-10.执行引擎
• 内存与垃圾回收-11.String Table
• 内存与垃圾回收-12.垃圾回收概述
• 内存与垃圾回收-13.垃圾回收相关算法
• 内存与垃圾回收-14.垃圾回收相关概念
• 内存与垃圾回收-15.垃圾回收器

---

• 字节码与类的加载-1.Class 文件结构
• 字节码与类的加载-2.字节码指令集与解析举例
• 字节码与类的加载-3.类的加载过程(类的生命周期)详解
• 字节码与类的加载-4.再谈类的加载器

---

• 性能监控与调优-1.概述
• 性能监控与调优-2.JVM监控及诊断工具-命令行
• 性能监控与调优-3.JVM监控及诊断工具-GUI
• 性能监控与调优-4.JVM运行时参数
• 性能监控与调优-5.分析GC日志

运维/云原生

软件部署

• ubuntu部署ftp服务.md
• centos7 nfs

Zabbix

• Centos7.7 安装 Zabbix
  • 编译源码安装zabbix4.4
    • Centos7.7 编译源码安装使用 Zabbix(zabbix-server)
    • Centos7.7 编译源码安装使用 Zabbix(zabbix-agent)
  • 二进制文件安装使用 Zabbix5.0
    • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-server)
    • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-agent)
• Zabbix5.0 中文乱码
• Zabbix: 添加被监控主机、创建主机、监控项、触发器、图形和模板
• Zabbix: 自定义邮件告警

Prometheus & Grafana

• Prometheus & Grafana 部署监控

Docker

• CentOS7 YUM安装 docker
• CentOS7 离线安装 docker
• CentOS7 降级 Docker
• Docker 常用命令
• Docker 镜像
• Docker 容器数据卷
• DockerFile 解析
• Docker 常用安装
• Docker 本地镜像发布到阿里云
• 可视化界面 Portainer
• 再探 Docker 数据卷
• docker 网络
• docker 的 CI/CD

Kubernetes

• 部署三种模式的k8s
• 扩容 K8s
• 命令自动补全
• 使用秘钥从私有仓库下载镜像
• first k8s容器化应用
• Kubernetes Token过期的问题
• Kubernetes YAML文件配置详解
• Kubernetes 常用操作命令
• Kubernetes 部署 Dashboard
• Kubernetes 工作负载 | Pod实践
• Kubernetes 工作负载 | Deployment实践
• Kubernetes 工作负载 | 服务网络和负载均衡
• Kubernetes 工作负载 | RS、RC、DaemonSet、StatefulSet、Job、CronJob实践
• Kubernetes 存储 | 卷的实践
• Kubernetes helm
• Kubernetes 常用服务部署
• Jenkins 动态感知部署

---

旧版

• Kubernetes label
• Kubernetes Volume挂载相关
• Kubernetes 特殊 Volume
• Kubernetes PodPreset预设置
• Kubernetes 副本机制和水平扩展&滚动更新
• Kubernetes Controller
• Kubernetes statefulset
• Kubernetes DaemonSet
• Kubernetes job
• Kubernetes cronjob
• Kubernetes Ingress
• Kubernetes NFS-PV-PVC
• Kubernetes 部署Java
• Kubernetes 声明PodPreset异常
• Kubernetes 常见问题
• Kubernetes 链路整合(待补完)

Linux

• vi和vim的使用
• 开机、重启和用户登录注销
• 用户管理
• Linux 集群分发脚本
• Linux下卸载 MySQL
• Linux Swap分区
• Linux扩展/删除swap分区
• kill pid 和 kill -9 pid 的区别
• This account is currently not available（用户当前不可用）
• CentOS top命令详解
• CentOS 集群时间同步
• CentOS 修改主机和IP
• CentOS 系统更换yum源镜像为国内镜像
• CentOS 安装 JDK
• Linux CPU性能优化
• frp+openvpn+docker 搭建
• curl使用指南

Shell

• shell 基础入门
• shell 变量
• shell 运算符
• shell 流程控制
• shell 读取控制台输入数据
• shell 函数
• shell 工具
• echo 命令详解
• 集群同步脚本
• 集群批量执行脚本

内网穿透

• 内网穿透-暴露内网端口
• 内网穿透-frp开启web服务

科学上网

• 科学上网指南
• Centos7.x科学上网

Mac

Mac

• mac iterm2 安装 lrzsz
• mac iterm2 批量删除主题
• mac 自动登录服务器
• mac oh-my-zsh