大数据人官方⑤群

大数据人|中国大数据第一社区

 找回密码
 注册会员

扫一扫,访问微社区

订阅

Hadoop

Hadoop生态新增列式存储系统Kudu
Hadoop生态新增列式存储系统Kudu
Hadoop生态系统发展到现在,存储层主要由HDFS和HBase两个系统把持着,一直没有太大突破。在追求高吞吐的批处理场景下,我们选用HDFS,在追求低延迟,有随机读写需求的场景下,我们选用HBase,那么是否存在一种系统, ...
2016-6-18 20:19
Hadoop vs Spark
面对Hadoop与Spark孰优孰劣这个问题,最准确的观点就是,设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。
2016-6-18 20:16
Hadoop工作机制
可以只用一行代码来运行MapReduce作业:JobClient.runJon(conf),Job作业运行时参与的四个实体: 1.JobClient 写代码,配置作业,提交作业。 2.JobTracker:初始化作业,分配作业,协调作业运行。这是 ...
2016-6-18 19:50
Cloudera:2016年Hadoop的三大预测
Hadoop,正式诞生于2006年1月28日,是多个开源项目的生态系统,它从根本上改变了企业存储、处理和分析数据的方式。Hadoop以一种开源的方式创建,开源的强大力量可以创造标准,人人共享,这样才有更多的人参与进来并 ...
2016-3-6 21:04
Hadoop数据操作系统YARN全解析
为了能够对集群中的资源进行统一管理和调度,Hadoop 2.0引入了数据操作系统YARN。YARN的引入,大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许多个应用程序运行在一个集群中,并将资源按需分配给 ...
2016-3-6 20:57
星环科技获1.55亿元B轮融资,定位做Hadoop时代的Oracle
  今日,星环科技向 36 氪透露,已完成 1.55 亿元的 B 轮融资,由上海瑞力投资、深创投、中小企业发展基金、基石资本等投资。本轮融资之前,星环科技共完成天使轮 /A 轮 /A+ 轮三轮融资,总金额达 7000 万人民币。 ...
2016-3-1 20:58
Hadoop十岁生快!Doug Cutting眼中的大数据技术未来
Hadoop十岁生快!Doug Cutting眼中的大数据技术未来
上次见到(膜拜)Hadoop之父DougCutting是在2年前,2014中国大数据技术大会上。今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝。Doug Cutting成长史1985年毕业于美国斯坦福大学的Cutting并不是一开始就决 ...
2016-2-21 19:55
Hadoop/Spark生态圈里的新气象
令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。
2016-2-17 20:21
一页纸精华丨Hadoop概览
一页纸精华丨Hadoop概览
每一个知道大数据的人都听说过Hadoop,作为基础框架,其凭借着低成本、高可靠、高扩展、高有效、高容错等特性成为最流行的大数据分析系统。要入门大数据,最好的办法就是理清Hadoop的生态系统。Hadoop是Apache软件基 ...
2016-1-20 11:19
Hadoop集群应用于大数据分析优势和挑战
Hadoop集群应用于大数据分析优势和挑战
大数据分析在过去几年里非常流行。即便如此,很多组织发现,现有的数据挖掘和分析技术还是不能胜任大数据的处理任务。对于这个question,一个可能的解决方案就是搭建Hadoop集群,但它并不适合所有情况。让我们了解一 ...
2016-1-14 11:04
什么是Hadoop,如何学习Hadoop
什么是Hadoop,如何学习Hadoop
搜索复制Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distr ...
2016-1-14 11:01
【原理】Hadoop的shuffle过程
【原理】Hadoop的shuffle过程
Hadoop的shuffle过程就是从map端输出到reduce端输入之间的过程,这一段应该是Hadoop中最核心的部分,因为涉及到Hadoop中最珍贵的网络资源,所以shuffle过程中会有很多可以调节的参数,也有很多策略可以研究。这里没 ...
2016-1-14 10:54
Hadoop2 运行机制简介
Hadoop2 运行机制简介
1. Resource Manager,Application Master 和 Node Manager在Hadoop2中将JobTracker两个主要的功能分离成单独的组件,这两个功能是资源管理(Resource Manager)和任务调度/监控(Application Master)。新的资源管 ...
2016-1-10 12:25
Hadoop入门进阶
Hadoop入门进阶
Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop生态系统:Hadoop框架中最核心设计就是 ...
2016-1-2 21:37
解析hadoop的文件读取过程
解析hadoop的文件读取过程
搜索复制Step1Client生成一个HDFS类库中的DistributedFileSystem对象实例,并使用此实例的open接口打开一个文件Step2DistributedFileSystem 通过RPC向namenode发出请求,以获得文件相关的数据块位置信息。NameNode将 ...
2016-1-2 21:35
12345下一页
关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_forum_2" >社区BBSid="mn_Nd633" >导航id="mn_Nbe89" >通讯录id="mn_N4033" >赞+1 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|鄂ICP备14012176号-2|Archiver|手机版|小黑屋|大数据人    

GMT+8, 2017-11-24 19:21 , Processed in 0.428217 second(s), 13 queries .

Powered by 小雄! X3.2

© 2014-2016 bigdataer Inc.

返回顶部