• 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 当前位置 > CPDA数据分析师 > “数”业专攻 > 大数据入门基础知识--Spark神器的安装

    天津快乐十分快三组合:大数据入门基础知识--Spark神器的安装

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2019-07-04 | 作者:admin

    Spark是一款专用于数据运算的引擎,它可以更好地适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法,并且它基于内存的运算,要比Hadoop高效很多。

     

    安装Scala

    由于Spark 是在 Scala 语言中实现的,并且其将 Scala 用作应用程序的框架,所以,在安装Spark之前,必须安装它的依赖,即 Scala软件。安装过程很简单,即解压、配置环境变量(注意,Scala在Master机器和Slave机器中都需要安装)。

     

     

    下载Scala软件

    前往Scala的官网(https://www.scala-lang.org/download/),直接下载最新版本的Scala软件,目前的版本为2.12.8。

    大数据入门基础知识 Spark神器的安装 - 大数据入门基础知识--Spark神器的安装

     

    上传至Master和Slave机器

    利用xftp软件,将下载下来的压缩包软件上传至master主机和两台slave从机中。

     

    解压缩

    将xshell软件的的窗口调整至下图所示的效果(即通过菜单中的“选项卡“设置为“瓷砖排序”,并选择“工具”内的“发送键输入到所有对话“):

     

    大数据入门基础知识 Spark神器的安装1 - 大数据入门基础知识--Spark神器的安装

     

    配置好窗口后,切换到/opt/SoftWare目录,使用如下命令,对Scala的.tgz文件做解压缩,并将解压缩目录重命名为scala:

     

    tar -xzf scala-2.12.8.tgz

    mv scala-2.12.8 scala

     

    配置环境变量

    vim /etc/profile

     

    大数据入门基础知识 Spark神器的安装2 - 大数据入门基础知识--Spark神器的安装

     

    source /etc/profile

    输入scala命令,如果出现下图中的结果,就说明你已成功安装scala软件。

     

    大数据入门基础知识 Spark神器的安装3 - 大数据入门基础知识--Spark神器的安装

     

    安装Spark

    安装Spark的过程与安装Scala很像,操作步骤也非常的简单,具体如下:

     

    下载Spark软件

    前往Spark的官网(//spark.apache.org/downloads.html),直接下载最新版本的Spark软件,目前的版本为2.4.0。

     

    大数据入门基础知识 Spark神器的安装4 - 大数据入门基础知识--Spark神器的安装

     

    上传至master与slave机器

    解压缩

    使用如下命令,对Spark的.tgz文件做解压缩,并将解压缩目录重命名为spark:

     

    tar -xzf spark-2.4.0-bin-hadoop2.7.tgz

    mv spark-2.4.0-bin-hadoop2.7 spark

     

    配置文件

    配置环境变量:vim /etc/profile

     

    大数据入门基础知识 Spark神器的安装5 - 大数据入门基础知识--Spark神器的安装

     

    刷新环境变量:source /etc/profile

     

    配置spark-env.sh文件

    将目录切换到spark下的conf目录,即/opt/SoftWare/spark/conf,然后将spark-env.sh.template文件拷贝为spark-env.sh,然后利用vim命令,往文件末尾添加如下内容:

    cp spark-env.sh.template spark-env.sh

    vim spark-env.sh

     

    大数据入门基础知识 Spark神器的安装6 - 大数据入门基础知识--Spark神器的安装

     

    配置slaves文件

    将slaves.template文件重新拷贝为slaves,然后利用vim命令,进入文件,将最后一行的localhost删除,并往文件末尾添加如下内容:

     

    大数据入门基础知识 Spark神器的安装7 - 大数据入门基础知识--Spark神器的安装

     

    到目前为止,Spark的安装和配置就算完成了,接下来我们去启动并验证Spark(需要注意的是,启动前需要启动HDFS和YARN,因为基于Spark分析的数据还都存储在HDFS中)。

     

    启动Spark

    启动HDFS和YARN只需要在Master机器中执行如下两条命令,并通过jps查看启动的进程:

    start-dfs.sh

    start-yarn.sh

    jps

     

    大数据入门基础知识 Spark神器的安装8 - 大数据入门基础知识--Spark神器的安装

     

    启动Spark,需要先将目录切换到spark的sbin下,然后仅在Master机器中执行./start-all.sh命令。为验证是否成功启动,可以输入jps命令,结果如下:

     

    大数据入门基础知识 Spark神器的安装9 - 大数据入门基础知识--Spark神器的安装

     

    从上图可知,master机器中多了Master进程,slave1和slave2机器中多了Worker进程,说明Spark已成功启动。最后,我们通过网页端,也能够发现Spark已启动,只需要在浏览器中输入master:8080

     

    大数据入门基础知识 Spark神器的安装10 - 大数据入门基础知识--Spark神器的安装

     

    最后,我们再启动Spark的Shell(它是执行Spark代码的交互式环境,类似于Linux的终端),命令为spark-shell,看一看它长啥样子:

     

    大数据入门基础知识 Spark神器的安装10 - 大数据入门基础知识--Spark神器的安装

     

    如上图所示,你会发现,在启动Spark的交互式窗口后,命令行的前缀是scala>,说明接下来等待你输入的是Scala语句。

  • 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 捕鱼达人之深海狩猎破解版 河南快赢481坑人吗 新11选5任选三技巧 山东老11选5预测 青海11选5中奖查询 山东十一选五网易彩票结果开奖查询 纬来体育 2019刮刮乐中奖图片 期香江话特码 云南时时平台 澳门普京的大小玩法 黑马人工计划软件苹果下载 北京十一选五遗漏图 六合两码中特 天津体彩泳坛夺金开奖