• 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 当前位置 > CPDA数据分析师 > “数”业专攻 > 如何加速大数据的实时分析

    辽宁快乐12直选走势图:如何加速大数据的实时分析

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2015-10-29 | 作者:admin

    在过去,Hadoop中运用MapReduce进行批处理的特性足以满足许多组织的处理需求。然而,随着信息化时代的发展,越来越多组织亟需使用更加快速的数据处理。这些需求来自各个领域的驱动,其中包括最近发展的流媒体技术、物联网、实时分析处理,这些也仅仅只是其中一部分。他们需要一套新的数据处理模型。在今天,能够满足上文提到的需求而引起了业界人士浓厚兴趣与广泛的支持的一项重要的新技术,就是Apache Spark。从能源产业到金融行业,Spark凭借其高效性与多功能性已经成为当今大数据处理栈中的关键部分。

    Spark是一个比MapReduce更加灵活的开源且通用的计算框架。Spark凭借其高速的内存计算,在函数式编程中与Hadoop相比更具生产力。例如,如图1所示,在逻辑回归算法性能测试中,Spark内存计算下的运行比Hadoop MapReduce快了几个数量级的速度。

    其中Spark的一些特性包括:

    • 它利用分布式内存进行计算。
    • 它支持完整的用有向无环图(DAG)来展示数据的并行计算。
    • 它可以提高开发人员的经验。
    • 它提供了线性可伸缩性与数据本地化。
    • 它具有容错机制。

    Spark为各种不同的用户提供着便利:信息技术开发人员可以受益于Spark支持各种流行的开发语言,例如Java、Python、R语言;而数据科学家可以在Spark支持的机器学习(ML)库中获得研究便利。

    在Spark中还有一个庞大且不断增长的 第三方包列表,将各式各样的工具、环境、框架、语言整合到一起,从而扩展Spark的复杂性以及能力。

    Spark用例可以部署在不同的生产场景中,其中包括在一个大型技术公司中运用Spark通过使用机器学习来进行个性化搜索;在一个金融系统中仅需数小时便可以处理数以百万计的股票分析,要知道相同的工作量下此前使用Hadoop MapReduce起码得耗费一周的时间;在学术环境中进行基因科学研究;在视频系统中,Spark与Spark Streaming被用于处理流媒体及其分析;以及卫生保健领域中Spark被用于进行疾病的预测建模。

    如此看来似乎各式各样不同的问题都能通过Spark成功地被解决,但是最重要的是我们仍需要不断去优化Spark的架构,以处理任何所提及到的用例。正如Spark拥有强大的特性,简而言之,这也意味着它的复杂性。因此,为了获得最佳性能的Spark,它需要成为一个更广泛的Hadoop基础数据管理平台的重要组成部分。此外,为了能在实时或者预测分析中得到更大收益,那么优化整个数据供应链也是至关重要的。

  • 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 天津十一选五彩经网 天津时时彩五星基本图 陕西十一选五体彩走势图 竞彩足球比分 哈尔滨消费水平 曾道免费资料十码中特 11选5开奖结果走势图 微信群怎么建立 王中王鉄算盘开奖结果王中 打牌三公怎么比大小 任意球 2019沙巴局势 网络赚钱软件lm0 牛牛热论坛 四场进球怎么没人买