百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[国内信息] 阿里云2000元专属红包领取及使用说明 [复制链接]
查看:833462 | 回复:7827

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-14 16:11:33 | 显示全部楼层 来自 中国河北衡水
但在前述shuffle service流程中,由于shuffle agent输出的shuffle这个文件包含了来自所有mapper的shuffle数据,损坏文件的重新生成需要以重跑所有mapper为代价。
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-14 17:54:36 | 显示全部楼层 来自 中国河北衡水
具体来说,mapper产生的每份shuffle数据除了发送给对于shuffle agent外,也会按照与传统文件系统shuffle数据类似的格式,在本地写一个备份。
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 08:45:36 | 显示全部楼层 来自 中国河北衡水
线上已经有部分作业使用此种方式并在性能上得到了进一步的提升。
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 10:15:41 | 显示全部楼层 来自 中国河北衡水
另一方面通过精确预测数据的读写速度并适时调度下游节点,可以取得与network传输shuffle相当的作业性能,而资源消耗降低50%以上。
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 11:31:05 | 显示全部楼层 来自 中国河北衡水
由于以上种种原因,日常状态这些机器的资源利用率不足10%,产生资源浪费的情况。
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 14:27:05 | 显示全部楼层 来自 中国河北衡水
如何衡量资源质量
电商业务通过富容器的方式集成多种容器粒度的分析手段,但是前文描述过离线作业的特点,
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 15:20:23 | 显示全部楼层 来自 中国河北衡水
针对在线作业的资源情况,集团和业界都有较多的解决方案。
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 15:27:51 | 显示全部楼层 来自 中国河北衡水
这类通用的资源采集角色存在以下无法解决的问题无法应用于离线作业资源画像的数据采集阶段
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 16:59:08 | 显示全部楼层 来自 中国河北衡水
通过离线内部优先级区分及各种管理策略,实现了离线质量的稳定性保障;通过细粒度资源画像信息,实现了资源使用的评估与分析,
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

141

主题

9万

帖子

1030

积分

落伍者(两全齐美)

Rank: 2

贡献
8404
鲜花
24
注册时间
2008-10-11

落伍者落伍手机绑定

 楼主| 发表于 2020-7-15 19:25:49 | 显示全部楼层 来自 中国河北衡水
最后,我们热忱欢迎集团各个团队一起交流探讨,共同打造世界一流的分布式调度系统!
免费领取2000元阿里云代金券 https://www.aliyun.com/minisite/goods?userCode=2a7uv47d
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-11-28 09:39 , Processed in 0.083107 second(s), 26 queries , Gzip On.

返回顶部