博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
为什么Hadoop集群中机器台数多反而执行速度慢?
阅读量:2732 次
发布时间:2019-05-13

本文共 530 字,大约阅读时间需要 1 分钟。

分类: 
 
119人阅读 
(0) 
 

这里我对这个现象给出解释。由于水平有限,发现错误,请及时留言,或站内和我联系。

这里假设集群中有slave1slave2slave3三个节点,其中slave3工作效率低。

一共有6个任务,需要去做,slave1slave2执行一个任务是1分钟,slave3执行一个任务是2分钟。有一个前提是每个slave完成自身的任务才回去推测执行。

如果让slave1slave2去做,则需要3分钟,分析如下:

slave1     slave2

3            3

3*1         3*1

并行执行总时间就是单个slave的执行时间3

那么三台同时去做需要4分钟。

slave1     slave2     slave3

2            2            2

这里slave1slave2都完成了自身的任务,已经花费了2分钟,剩下最后一个任务考虑到数据的本地性也分给了slave3slave3执行时间超过一分钟时,jobtracker会觉得slave3可能没有能力完成分配给他的任务,假设在slave1上推测执行,结果slave3结束了,就将运行在slave1上的推测执行任务kill掉,最后执行时间是4秒。

因为在推测执行的时候会两个推测执行的任务会同时完成。

转载地址:http://jtcxd.baihongyu.com/

你可能感兴趣的文章
第4-8课:方块消除游戏
查看>>
第4-7课:投资问题
查看>>
第4-6课:矩阵链乘问题
查看>>
第4-5课:铺瓷砖问题
查看>>
第4-4课:状态压缩与动态规划
查看>>
第3-9课:浮点数和大数
查看>>
第3-6课:多点同线问题
查看>>
第3-5课:24 点计算器
查看>>
第3-4课:爱因斯坦的思考题(上)
查看>>
算法系列之二十一:实验数据与曲线拟合
查看>>
给Source Insight做个外挂系列之三--构建外挂软件的定制代码框架
查看>>
自己动手编译Mozilla Firefox和ThunderBird
查看>>
递归和Windows系统的栈保护
查看>>
Source Insight做个外挂系列之六--“TabSiPlus”的其它问题
查看>>
用表驱动代替switch-case
查看>>
你的防火墙可靠吗
查看>>
自己动手编译firefox,thunderbird 方法补充
查看>>
只有通过实践才能真正了解TDD
查看>>
Merry Christmas! A New Version TabSiPlus Released
查看>>
WTL for MFC Programmers, Part VII - Splitter Windows
查看>>