L Q
  文章分类
Flume 2 HTTP 1 Hadoop 7 EFK 1 JAVA 基础 1 JAVA 多线程 2 JVM 1 JAVA 框架 1 Java 2 Kafka 5 Linux 2 Knife4j 1 MySQL 10 文件在线预览 1 Redis 2 SparkCore 5 Hive 1 JDBC 1 TXT 1 JSON 1 SparkSQL 2 SparkStreaming 3 SpringBoot 19 SpringCloud 2 Documents4j 1 PDFBox 1 Poi-tl 2 递归 1 二叉树遍历 1 设计模式 1 排序算法 1 项目经验 4 树 1 数据结构 1 代码经验 1 权限设计 1
Spark_PairRDD Spark_PairRDD
Spark_PairRDD什么是 Pair RDD Spark为包含键值对对类型的RDD提供了一些专有操作，这些操作就被称为Pair RDD。 操作 Pair RDD创建 Pair RDD创建 Pair RDD scala> var lin
2020-12-29 SparkCore
SparkCore
Spark_提交模式 Spark_提交模式
Spark_提交模式作业提交 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ./bin/spark-submit \ --class \ # 应用程序主入
2020-12-29 SparkCore
SparkCore
Spark_算子 Spark_算子
Spark_算子Transformation map 对于输入的一行数据，会把这行数据解析成一个数组，然后需要单个数据再去数组中去取。 val list = List(1,2,3) sc.parallelize(list).map(_
2020-12-29 SparkCore
SparkCore
Spark_使用 Spark_使用
Spark_使用使用代码Spark程序必须做的第一件事是创建一个SparkContext对象，该对象告诉Spark如何访问集群。要创建一个，SparkContext您首先需要构建一个SparkConf对象，其中包含有关您的应用程序的信息。
2020-12-29 SparkCore
SparkCore
Spark_基础 Spark_基础
Spark_总体参考资料地址： 如果会简单的 Scala 语言，那么学习 Spark 的时候会如虎添翼 Spark用来做什么？取代MapReduce做批处理计算。 为什么 Spark 比 MapReduce 快？ Spark 是基于内存的，
2020-12-29 SparkCore
SparkCore