• 【央视快评】让传统文化焕发新时代风采 2019-08-22
  • 后高考时代 孩子们这样致青春 2019-08-12
  • 湖南高校:将十九大精神融入基础课教学建设 2019-08-12
  • 兰州大学“习近平新时代中国特色社会主义思想研究中心”成立 2019-08-10
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-08-10
  • 中方有力回击!美国多个行业喊痛:“加征关税就是对美国消费者征税” 2019-08-07
  • 工信部:鼓励婴幼儿配方乳企质量安全追溯体系建设 2019-08-06
  • 相思湖边包鱼粽 孝心满满全家欢 2019-07-24
  • 英伦绅士新打开方式 试驾捷豹XFL 3.0SC 2019-07-20
  • 发展改革委就创新和完善宏观调控等答问 2019-07-13
  • 深圳2018年将开行3趟援疆旅游扶贫专列 2019-07-01
  • 房地产就有国家和集体之土地不计价到计价,这笔是经济收入还是财产收入? 2019-07-01
  • Map Out Your Life in Chongqing 2019-06-28
  • 世界杯黄历:日本换帅对战黑马“小哥” 2019-06-27
  • 小区麻将馆 何时不扰民 2019-06-26
  • 当前位置 > CPDA数据分析师 > “数”业专攻 > 大数据入门基础知识--Spark神器的安装

    天津福彩快乐十分走势图:大数据入门基础知识--Spark神器的安装

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2019-07-04 | 作者:admin

    Spark是一款专用于数据运算的引擎,它可以更好地适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法,并且它基于内存的运算,要比Hadoop高效很多。

     

    安装Scala

    由于Spark 是在 Scala 语言中实现的,并且其将 Scala 用作应用程序的框架,所以,在安装Spark之前,必须安装它的依赖,即 Scala软件。安装过程很简单,即解压、配置环境变量(注意,Scala在Master机器和Slave机器中都需要安装)。

     

     

    下载Scala软件

    前往Scala的官网(https://www.scala-lang.org/download/),直接下载最新版本的Scala软件,目前的版本为2.12.8。

    大数据入门基础知识 Spark神器的安装 - 大数据入门基础知识--Spark神器的安装

     

    上传至Master和Slave机器

    利用xftp软件,将下载下来的压缩包软件上传至master主机和两台slave从机中。

     

    解压缩

    将xshell软件的的窗口调整至下图所示的效果(即通过菜单中的“选项卡“设置为“瓷砖排序”,并选择“工具”内的“发送键输入到所有对话“):

     

    大数据入门基础知识 Spark神器的安装1 - 大数据入门基础知识--Spark神器的安装

     

    配置好窗口后,切换到/opt/SoftWare目录,使用如下命令,对Scala的.tgz文件做解压缩,并将解压缩目录重命名为scala:

     

    tar -xzf scala-2.12.8.tgz

    mv scala-2.12.8 scala

     

    配置环境变量

    vim /etc/profile

     

    大数据入门基础知识 Spark神器的安装2 - 大数据入门基础知识--Spark神器的安装

     

    source /etc/profile

    输入scala命令,如果出现下图中的结果,就说明你已成功安装scala软件。

     

    大数据入门基础知识 Spark神器的安装3 - 大数据入门基础知识--Spark神器的安装

     

    安装Spark

    安装Spark的过程与安装Scala很像,操作步骤也非常的简单,具体如下:

     

    下载Spark软件

    前往Spark的官网(//spark.apache.org/downloads.html),直接下载最新版本的Spark软件,目前的版本为2.4.0。

     

    大数据入门基础知识 Spark神器的安装4 - 大数据入门基础知识--Spark神器的安装

     

    上传至master与slave机器

    解压缩

    使用如下命令,对Spark的.tgz文件做解压缩,并将解压缩目录重命名为spark:

     

    tar -xzf spark-2.4.0-bin-hadoop2.7.tgz

    mv spark-2.4.0-bin-hadoop2.7 spark

     

    配置文件

    配置环境变量:vim /etc/profile

     

    大数据入门基础知识 Spark神器的安装5 - 大数据入门基础知识--Spark神器的安装

     

    刷新环境变量:source /etc/profile

     

    配置spark-env.sh文件

    将目录切换到spark下的conf目录,即/opt/SoftWare/spark/conf,然后将spark-env.sh.template文件拷贝为spark-env.sh,然后利用vim命令,往文件末尾添加如下内容:

    cp spark-env.sh.template spark-env.sh

    vim spark-env.sh

     

    大数据入门基础知识 Spark神器的安装6 - 大数据入门基础知识--Spark神器的安装

     

    配置slaves文件

    将slaves.template文件重新拷贝为slaves,然后利用vim命令,进入文件,将最后一行的localhost删除,并往文件末尾添加如下内容:

     

    大数据入门基础知识 Spark神器的安装7 - 大数据入门基础知识--Spark神器的安装

     

    到目前为止,Spark的安装和配置就算完成了,接下来我们去启动并验证Spark(需要注意的是,启动前需要启动HDFS和YARN,因为基于Spark分析的数据还都存储在HDFS中)。

     

    启动Spark

    启动HDFS和YARN只需要在Master机器中执行如下两条命令,并通过jps查看启动的进程:

    start-dfs.sh

    start-yarn.sh

    jps

     

    大数据入门基础知识 Spark神器的安装8 - 大数据入门基础知识--Spark神器的安装

     

    启动Spark,需要先将目录切换到spark的sbin下,然后仅在Master机器中执行./start-all.sh命令。为验证是否成功启动,可以输入jps命令,结果如下:

     

    大数据入门基础知识 Spark神器的安装9 - 大数据入门基础知识--Spark神器的安装

     

    从上图可知,master机器中多了Master进程,slave1和slave2机器中多了Worker进程,说明Spark已成功启动。最后,我们通过网页端,也能够发现Spark已启动,只需要在浏览器中输入master:8080

     

    大数据入门基础知识 Spark神器的安装10 - 大数据入门基础知识--Spark神器的安装

     

    最后,我们再启动Spark的Shell(它是执行Spark代码的交互式环境,类似于Linux的终端),命令为spark-shell,看一看它长啥样子:

     

    大数据入门基础知识 Spark神器的安装10 - 大数据入门基础知识--Spark神器的安装

     

    如上图所示,你会发现,在启动Spark的交互式窗口后,命令行的前缀是scala>,说明接下来等待你输入的是Scala语句。

  • 【央视快评】让传统文化焕发新时代风采 2019-08-22
  • 后高考时代 孩子们这样致青春 2019-08-12
  • 湖南高校:将十九大精神融入基础课教学建设 2019-08-12
  • 兰州大学“习近平新时代中国特色社会主义思想研究中心”成立 2019-08-10
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-08-10
  • 中方有力回击!美国多个行业喊痛:“加征关税就是对美国消费者征税” 2019-08-07
  • 工信部:鼓励婴幼儿配方乳企质量安全追溯体系建设 2019-08-06
  • 相思湖边包鱼粽 孝心满满全家欢 2019-07-24
  • 英伦绅士新打开方式 试驾捷豹XFL 3.0SC 2019-07-20
  • 发展改革委就创新和完善宏观调控等答问 2019-07-13
  • 深圳2018年将开行3趟援疆旅游扶贫专列 2019-07-01
  • 房地产就有国家和集体之土地不计价到计价,这笔是经济收入还是财产收入? 2019-07-01
  • Map Out Your Life in Chongqing 2019-06-28
  • 世界杯黄历:日本换帅对战黑马“小哥” 2019-06-27
  • 小区麻将馆 何时不扰民 2019-06-26
  • 21点游戏背景素材 2019英超冠军是谁 2011年体育彩票走势图 北京急速赛车开奖结果 吉林快3任选七中奖率 福利彩票走势图带坐标连线 福建快三网上投注 福彩双色球086期开奖结果 福建体彩11选5走势图一定牛 kk棋牌官方网站 辽宁快乐12开奖结果查询开奖号码 彩票时时彩 湖北30选五开奖号码 黑龙江省11选五开奖结 pc刷水不怕1314方法