博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop优化问题
阅读量:5121 次
发布时间:2019-06-13

本文共 354 字,大约阅读时间需要 1 分钟。

当在Map阶段输入数据逻辑上很大(二十G)(存在hdfs上实际都是以64M的块存储),

而你的集群数量不是很大(只有十台),

这样造成会有很多的Map(320个),

造成map效率不是很高

这里可以通过设置 Configuration

Configuration defaultConf = new Configuration();

defaultConf.set("mapred.min.split.size", "134217728"); //默认为64M,这里改为128M

来增大map的split的大小

将Map数减少为160个

hadoop版本:1.0.4

转载于:https://www.cnblogs.com/liangyours/archive/2013/01/16/2863057.html

你可能感兴趣的文章
Mac OS 怎么修改 PATHS 环境变量
查看>>
Xcode7添加pch文件(转载)
查看>>
原型与原型链
查看>>
异常及处理
查看>>
测试开发之利器论战
查看>>
黑马程序员---java基础-Java类 继承&抽象&接口
查看>>
轻松精通awk数组企业问题案例
查看>>
第四十一篇 面向对象基础
查看>>
如何求F-闭包、候选码求解、范式判断及BCNF分解
查看>>
Hibernate第七篇【对象状态、一级缓存】
查看>>
day_5:Ajax数据爬取
查看>>
Spark异步job
查看>>
【NetXMS】工具介绍
查看>>
性能分析_linux服务器CPU_CPU利用率
查看>>
booth乘法
查看>>
实现算法2.1的程序
查看>>
设计模式之单例
查看>>
被诅咒的程序员的七宗罪
查看>>
WPF - MVVM - 如何将ComboBox的Selectchange事件binding到ViewModel
查看>>
Console“自服务”读取文件
查看>>