Kafka_基础Kafka的定义一个分布式、分区的、多副本的、多订阅者，基于 Zookeeper 协调的分布式日志系统。采用发布-订阅模式。 Kafka的优点 解耦。 冗余（副本）。 扩展性。 灵活性&峰值处理能力。 可恢复性。

Kafka_架构 Topic 可以类比为数据库中的库。 Partition 可以类比为数据库中的表。 一个 Topic 就是一个消息队列，然后它把每个 Topic 又分为很多个 Partition 。 一个 Topic 可以有多个消费者

Linux_安装MYSQL准备安装包（Linux下MySQL5.6与MySQL5.7安装方法略有不同） mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz 开始安装第一步 查找并删除mysql 有关的文件。

1. Linux环境变量加载的顺序 用户环境变量 ：仅仅只是当前用户使用 ~/.bashrc　　 ~/.bash_profile 系统环境变量 ：给当前系统中的所有用户使用 /etc/profile 任何普通用户在进行登录的时候：会同时加载

Java集合ArrayList与LinkedList ArrayList：能够自动增长容量的数组，搜索，读取数据的时候效率较高。 LinkedList：是一个双向的链表，添加，和删除数据的时候效率较高。 List ArrayList

Java基础总结面向对象的设计原则： 单一职责原则：减少耦合；提高复用 接口隔离原则：避免一个类对另外一个类的依赖 开放封闭原则：模块行为开放，模块功能封闭（对功能进行扩展的时候，排除最少的影响） 替换原则：之类可以替换父类 依赖倒置原则

Java_JVM类的加载 类的加载分为：加载—>链接—>初始化（其中 链接可分为：验证—>准备—>解析） Java_Jvm_类加载过程 垃圾收集 Java_垃圾收集 Java内存管理 Java内存的自动管理

SparkStreaming_MySQL代码 object SparkMysql { def main(args: Array[String]): Unit = { val conf = new SparkConf().setA

SparkStreaming_Kafka代码 object SparkCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().set

SparkStreaming_HDFSSpark Streaming 监控 Hadoop 的文件夹使用 SparkStreaming 之前，需要先初始化，初始化的代码如下： SparkConf conf = new SparkConf().

SparkSQL_数据结构DataFrame为了支持结构化数据的处理，Spark SQL 提供了新的数据结构 DataFrame。DataFrame 是一个由具名列组成的数据集。 DataFrame & RDD DataSetDat

SparkSQL_使用创建 SparkSessionSparkSession 是 Dataset 与 DataFrame 编程的入口。 官方代码 import org.apache.spark.sql.SparkSession val