PySpark初学者教程

1. PySpark简介

PySpark 教程 – PySpark 是一个用 Python 编写的 Apache Spark 库，用于使用 Apache Spark 功能运行 Python 应用程序。使用 PySpark 我们可以在分布式集群（多个节点）上并行运行应用程序。
换句话说，PySpark 是一个 Python API，是一个用于大规模强大的分布式数据处理和机器学习应用程序的分析处理引擎。

🔖 自 Spark 2.0 起，SparkSession 已成为 PySpark 与 RDD 和 DataFrame 配合使用的入口点。在2.0之前，入口点曾是SparkContext。 本节内容将主要通过定义和描述如何创建 SparkSession 以及使用-shellspark中的默认 SparkSession 变量来重点解释什么是 SparkSession........

Spark数据分析导论

Spark是什么❓

1. spark 是一个用来实现快速而通用的集群计算的平台。
2. Spark能够在内存中进行计算.
3. 提供丰富的语言接口，包括：Python、Java、Scala
4. Spark可以运行在Hadoop集群上。

​