大数据人|大数据第一社区

 找回密码
 注册会员

扫一扫,访问微社区

订阅

Spark

7种最常见的Hadoop和Spark项目
如果您的Hadoop项目将有新的突破,那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。 ...
2016-3-6 21:02
2016年大数据预测:Spark将炙手可热
2016年大数据预测:Spark将炙手可热
说到云计算、物联网、大数据、数据分析和开源技术,它们在2016年的前景如何呢? IT领域的高管们纷纷盯向自己的水晶球,为我们介绍了他们眼中新一年及未来即将出现的挑战和机遇。所有的开发和测试将迁移到云端随着首 ...
2016-1-20 11:17
Spark淘汰MapReduce,拯救Hadoop
Spark淘汰MapReduce,拯救Hadoop
2016年大数据领域会发生什么情况?考虑到如今在深层神经网络和规范性分析方面取得的进展,你可能觉得这个问题很好回答。而实际上,来自业界的大数据预测大不相同,本文精选出了最值得关注的33个预测,为您开启未知的 ...
2016-1-14 10:52
Spark是什么?用Spark进行数据分析
Spark是什么?用Spark进行数据分析
1什么是Apache Spark?Apache Spark是一个为速度和通用目标设计的集群计算平台。从速度的角度看,Spark从流行的MapReduce模型继承而来,可以更有效地支持多种类型的计算,如交互式查询和流处理。速度在大数据集的处 ...
2016-1-4 08:42
基于Spark的机器学习经验
基于Spark的机器学习经验
作者简介祝威廉目前在乐视云数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础框架,搜索研发四年,大数据平台架构、推荐三年多,个人时间现专注于集群自动化部署,服务管理,资源自动化调度等方 ...
2015-12-30 10:14
【BDTC先睹为快】Spark首席架构师辛湜:谈项目现状与Roadmap
【BDTC先睹为快】Spark首席架构师辛湜:谈项目现状与Roadmap
12月10-12日, 2015中国大数据技术大会 将在北京召开。会议前夕,我们特采访了本次会议的全体会议讲师辛湜(Reynold Xin),以期对其从事工作和演讲内容有进一步的了解。下为采访实录CSDN:请介绍一下自己。辛湜:我 ...
2015-11-29 15:08
【Spark研究】Lambda表达式让Spark编程更容易
近日,Databricks官方网站发表了一篇博文,用示例说明了lambda表达式如何让Spark编程更容易。文章开头即指出,Spark的主要目标之一是使编写大数据应用程序更容易。Spark的Scala和Python接口一直很简洁,但由于缺少函 ...
2015-11-29 15:07
Spark学习体会
转载地址: http://www.cnblogs.com/AndyShare/p/4961378.html在去年图计算工作中,和公司里实习的博士生尝试过Spark后,发现Spark比Hadoop在计算速度上后很大的提高。Spark的计算使用Scala语言编写代码,其中图计算 ...
2015-11-29 15:05
Spark系列之四(完):MapReduce 转换到 Spark
Spark 是类似于 MapReduce 的计算引擎,它提出的内存方式解决了 MapReduce 存在的读取磁盘速度较慢的困难,此外,它基于 Scala 的函数式编程风格和 API,进行并行计算时效率很高。由 于 Spark 采用的是 RDD(弹性分布 ...
2015-11-2 18:39
Spark系列之三:MapReduce VS Spark(2)
SparkDemo 程序运行Spark 源代码可以在 http://spark-project.org/download 处下载,也可以到 github 直接复制 Spark 项目。Spark 提供基本源码压缩包,同时也提供已经编译好的压缩包。Spark 是通过 Scala Shell 来 ...
2015-11-2 18:36
Spark系列之三:MapReduce VS Spark (1)
Spark系列之三:MapReduce VS Spark (1)
MapReduce 和 Spark 介绍目前的大数据处理可以分为以下三个类型:复杂的批量数据处理(batch data processing),通常的时间跨度在数十分钟到数小时之间;基于历史数据的交互式查询(interactive query),通常的时 ...
2015-11-2 18:35
Spark系列之二:Scala 语言解释及示例讲解
Spark系列之二:Scala 语言解释及示例讲解
Scala 语言衍生自 Funnel 语言。Funnel 语言尝试将函数式编程和 Petri 网结合起来,而 Scala 的预期目标是将面向对象、函数式编程和强大的类型系统结合起来,同时让人要能写出优雅、简洁的代码。本文希望通过一系列 ...
2015-11-2 18:34
Spark系列之一:Spark,一种快速数据分析替代方案
Spark系列之一:Spark,一种快速数据分析替代方案
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询 ...
2015-11-2 18:29
大规模主题模型:对Spark LDA算法的改进
大规模主题模型:对Spark LDA算法的改进
这篇文章由Databricks的Feynman Liang和Joseph Bradley,以及Intel的Yuhao Yang撰写。在使用LDA之前,请先 下载Spark 1.5或是 申请试用版的Databricks。人们正在推特上讨论什么呢?为了关注分布式计算,我该阅读哪些 ...
2015-11-2 18:26
Databricks孟祥瑞:ALS 在 Spark MLlib 中的实现
Databricks孟祥瑞:ALS 在 Spark MLlib 中的实现
深受用户喜爱的大数据处理平台 Apache Spark 1.3 于前不久发布,MLlib 作为 Spark 负责机器学习 (ML) 的核心组件在 1.3 中添加了不少机器学习及数据挖掘的算法:研究主题分布的 latent Dirichlet allocation (LDA ...
2015-5-7 23:10
12下一页
关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|Archiver|手机版|小黑屋|大数据人 ( 鄂ICP备14012176号-2  

GMT+8, 2024-3-19 18:22 , Processed in 0.148145 second(s), 13 queries .

Powered by 小雄! X3.2

© 2014-2020 bigdataer Inc.

返回顶部