大数据人|大数据第一社区

 找回密码
 注册会员

扫一扫,访问微社区

订阅

技术

Hadoop集群应用于大数据分析优势和挑战
Hadoop集群应用于大数据分析优势和挑战
大数据分析在过去几年里非常流行。即便如此,很多组织发现,现有的数据挖掘和分析技术还是不能胜任大数据的处理任务。对于这个question,一个可能的解决方案就是搭建Hadoop集群,但它并不适合所有情况。让我们了解一 ...
分类:    2016-1-14 11:04
什么是Hadoop,如何学习Hadoop
什么是Hadoop,如何学习Hadoop
搜索复制Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distr ...
分类:    2016-1-14 11:01
【原理】Hadoop的shuffle过程
【原理】Hadoop的shuffle过程
Hadoop的shuffle过程就是从map端输出到reduce端输入之间的过程,这一段应该是Hadoop中最核心的部分,因为涉及到Hadoop中最珍贵的网络资源,所以shuffle过程中会有很多可以调节的参数,也有很多策略可以研究。这里没 ...
分类:    2016-1-14 10:54
Spark淘汰MapReduce,拯救Hadoop
Spark淘汰MapReduce,拯救Hadoop
2016年大数据领域会发生什么情况?考虑到如今在深层神经网络和规范性分析方面取得的进展,你可能觉得这个问题很好回答。而实际上,来自业界的大数据预测大不相同,本文精选出了最值得关注的33个预测,为您开启未知的 ...
分类:    2016-1-14 10:52
中国大数据分析应用解决方案的独角兽
中国大数据分析应用解决方案的独角兽
许多人可能对Uber、小米以及Airbnb并不陌生,但提起“Palantir”可能许多人脑中会闪现“Palantir”是个什么鬼?能吃么?它不能吃,只是一个提供数据分析和技术服务的公司,在进入公众的视线之前,它主要为政府部门服 ...
分类:    2016-1-14 10:31
爱立信数据分析解决方案抓住物联网发展机遇
爱立信数据分析解决方案抓住物联网发展机遇
爱立信在2016年国际消费电子展(CES)上发布三大物联网解决方案,其中“用户和物联网数据分析”解决方案可以帮助运营商提高对用户和物联网终端的内部管理效率,同时探索跨越多个垂直领域的新型物联网应用。
分类:    2016-1-14 10:28
数据掘金|数据分析的5大陷阱及其解决方案
数据掘金|数据分析的5大陷阱及其解决方案
你仍然无法充分利用数据吗?在本篇文章里,国外专栏作家David Booth概括五大要点,教你如何深入挖掘、利用数据。
分类:    2016-1-14 10:25
Hadoop2 运行机制简介
Hadoop2 运行机制简介
1. Resource Manager,Application Master 和 Node Manager在Hadoop2中将JobTracker两个主要的功能分离成单独的组件,这两个功能是资源管理(Resource Manager)和任务调度/监控(Application Master)。新的资源管 ...
分类:    2016-1-10 12:25
数据模型需要多少训练数据?
数据模型需要多少训练数据?
毫无疑问机器学习是大数据分析不可或缺的一部分,在使用机器学习技术的时候工程师除了要选择合适的算法之外还需要选择合适的样本数据。那么工程师到底应该选择哪些样本数据、选择多少样本数据才最合适呢?来自于Googl ...
分类:    2016-1-8 18:45
【干货】浅谈数据挖掘在银行金融业的应用
一、引言 数据挖掘(Data Mining)是一种新的商业信息处理技术,产生于20世纪80年代的美国,首先应用在金融、电信等领域,主要特点是对大量数据进行抽取、转换、分析和模型化处理,从中提取出有助于商业决策的关键性 ...
分类:    2016-1-8 18:41
数据挖掘系列篇(1):总结职业
很多人不明白学习数据挖掘以后干什么,这个问题也经常被问到。记得刚学数据挖掘的时候,有一个老师说学数据挖掘有什么用,你以后咋找工作。当时听了,觉得很诧异,不知道他为何有此一问。数据挖掘在国外是一份很不错 ...
分类:    2016-1-8 18:39
推荐系统入门书籍
入门的话, 可以看以下书籍:Segaran T. Programming collective intelligence: building smart web 2.0 applications. O’Reilly Media, 2007.寓教于乐的一本入门教材,附有可以直接动手实践的toy级别代码Shapira B ...
分类:    2016-1-6 15:21
Spark是什么?用Spark进行数据分析
Spark是什么?用Spark进行数据分析
1什么是Apache Spark?Apache Spark是一个为速度和通用目标设计的集群计算平台。从速度的角度看,Spark从流行的MapReduce模型继承而来,可以更有效地支持多种类型的计算,如交互式查询和流处理。速度在大数据集的处 ...
分类:    2016-1-4 08:42
Hadoop入门进阶
Hadoop入门进阶
Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop生态系统:Hadoop框架中最核心设计就是 ...
分类:    2016-1-2 21:37
解析hadoop的文件读取过程
解析hadoop的文件读取过程
搜索复制Step1Client生成一个HDFS类库中的DistributedFileSystem对象实例,并使用此实例的open接口打开一个文件Step2DistributedFileSystem 通过RPC向namenode发出请求,以获得文件相关的数据块位置信息。NameNode将 ...
分类:    2016-1-2 21:35
微信公众号

大数据人的微信公众号

bigdata_ren


扫一扫关注 微信搜索【大数据人】 关注!


大数据人微信公众号

千人读者QQ群

213259606

点击快速加入








相关分类

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|Archiver|手机版|小黑屋|大数据人 ( 鄂ICP备14012176号-2  

GMT+8, 2024-6-22 20:25 , Processed in 0.250540 second(s), 16 queries .

Powered by 小雄! X3.2

© 2014-2020 bigdataer Inc.

返回顶部