spark的安装与配置

 时间:2026-02-14 06:43:49

1、百度搜索Spark,找到【Downloads | Apache Spark】点击进入Spark官方下载页面

spark的安装与配置

2、点击选择你的hadoop版本所对应的Spark版本,(这里我下载的版本是spark-2.3.3-bin-hadoop2.7.tgz)点击椭圆圈中的信息

spark的安装与配置

3、这里点击第一个,选择要安装的目录

spark的安装与配置

spark的安装与配置

4、将下载好的spark压缩包通过U盘传到Ubuntu系统下

(因为我将一台电脑装成了Ubuntu系统,没有用到虚拟机,所以我用的U盘来传文件)

5、将下载 spark-2.3.3-bin-hadoop2.7.tgz 文件文件移到/opt目录下并解压

spark的安装与配置

spark的安装与配置

6、重命名文件(这里我命名的文件名是spark)

spark的安装与配置

7、编辑/etc/profile文件,添加环境变量(不要忘了source)

spark的安装与配置

1、编辑spark-env.sh文件(vim ./conf/spark-env.sh),在第一行添加以下配置信息:

spark的安装与配置

2、验证Spark安装和配置,通过运行Spark自带的示例,验证Spark是否安装成功

spark的安装与配置

3、运行结果如下图所示,可以得到π 的 14位小数近似值

spark的安装与配置

4、在主机的浏览器输如【localhost:8079】(单机模式)就可以看到有两个节点在spark集群上

spark的安装与配置

  • 英雄联盟怎么举报方法
  • servlet过滤器生命周期的方法
  • 怎么画卡通飞船
  • js 如何遍历字典
  • 怎样制作好看的PPT渐变填充背景图?
  • 热门搜索
    between是什么意思 置产是什么意思 藏红花有什么功效 名媛是什么 水仙花什么时候开花 body是什么意思 eco是什么意思车上的 下元节是什么节日 burn是什么意思 陈百强什么原因怎么走的