Spark 安装教程 spark3.0安装

文章来源：加米谷大数据

Spark是Hadoop的子项目。 因此，最好将Spark安装到基于Linux的系统中。 以下步骤说明如何安装Apache Spark。

步骤1：验证Java安装

Java安装是安装Spark的强制性要求之一。 尝试使用以下命令验证JAVA版本。

如果Java已经，安装在系统上，你能看到以下响应 。

如果您没有在系统上安装Java，请在继续下一步之前安装Java。

步骤2：验证Scala安装

你应该使用Scala语言来实现Spark。 因此，让我们使用以下命令验证Scala安装。

如果Scala是已经安装在系统中，你能看到以下响应

如果您没有在系统上安装Scala，请继续执行Scala安装的下一步。

步骤3：下载Scala

通过访问以下链接下载Scala的最新版本:下载Scala。 对于本教程，我们使用scala-2.11.6版本。 下载后，您将在下载文件夹中找到Scala tar文件。

步骤4：安装Scala

按照以下给出的安装Scala的步骤。提取Scala tar文件键入以下命令以解压缩Scala tar文件。

移动Scala软件文件
使用以下命令将Scala软件文件移动到相应的目录（/ usr / local / scala）。

移动Scala软件文件

使用以下命令将Scala软件文件移动到相应的目录（/ usr / local / scala）。

为Scala设置PATH

使用以下命令设置Scala的PATH。

验证Scala安装

安装后，最好验证它。 使用以下命令验证Scala安装。

如果Scala是已经安装在系统中，你能看到以下响应

步骤5：下载Apache Spark

通过访问以下链接下载Spark的最新版本。 对于本教程，我们使用spark-1.3.1-bin-hadoop2.6版本。 下载后，你会在下载文件夹中找到Spark tar文件。

步骤6：安装Spark

按照以下步骤安装Spark。

提取Spark tar以下命令用于提取spark tar文件。

移动Spark tar软件文件

以下命令用于将Spark软件文件移动到相应的目录（/ usr / local / spark）。

设置Spark的环境

将以下行添加到?/ .bashrc文件。 这意味着将spark软件文件所在的位置添加到PATH变量。

使用以下命令获取?/ .bashrc文件。

步骤7：验证Spark安装

编写以下命令以打开Spark shell。

如果spark安装成功，那么您将找到以下输出。

Tags：win10安装java

微信扫一扫：分享

微信里点“发现”，扫一下

二维码便可将本文分享至朋友圈。