PySpark初学者教程

1. PySpark简介

PySpark 教程 – PySpark 是一个用 Python 编写的 Apache Spark 库，用于使用 Apache Spark 功能运行 Python 应用程序。使用 PySpark 我们可以在分布式集群（多个节点）上并行运行应用程序。
换句话说，PySpark 是一个 Python API，是一个用于大规模强大的分布式数据处理和机器学习应用程序的分析处理引擎。

🔖 自 Spark 2.0 起，SparkSession 已成为 PySpark 与 RDD 和 DataFrame 配合使用的入口点。在2.0之前，入口点曾是SparkContext。 本节内容将主要通过定义和描述如何创建 SparkSession 以及使用-shellspark中的默认 SparkSession 变量来重点解释什么是 SparkSession........

Spark数据分析导论

Spark是什么❓

1. spark 是一个用来实现快速而通用的集群计算的平台。
2. Spark能够在内存中进行计算.
3. 提供丰富的语言接口，包括：Python、Java、Scala
4. Spark可以运行在Hadoop集群上。

​

PySpark之parallelize()

gPRC服务

Linux配置环境变量

1. 查看所有变量

# 使用env
lianghexiang@ubuntu:~$ env 

# 使用export
lianghexiang@ubuntu:~$ export 

DBUtils版本问题

前言

事情的起因是，原本在pycharm上开发的代码，因为要使用到线程池，所以就按安装了DBUtils，在windows上运行代码倒没什么问题，后因代码运行时需要占用的内存过多，所以代码要转移到Linux服务器上，问题由之而来，运行代码时总会会报出找不到DBUtils库的错误，经过几番反复确认，python环境已经安装了DBUtils，而且安装的其他三方库皆无问题，所以便是用了万能的百度，终于是解决了问题