gydtep
发表于 2020-10-12 18:35:00
MaxCompute的“默认预付费Quota”类似于yarn的root资源队列，这部分计算资源属于“总计算资源组”，需要将总资源组进行细分。
gydtep
发表于 2020-10-12 21:31:45
每个quota group子资源组的min 资源量不小于 “默认预付费Quota”的5%，建议也不大于“默认预付费Quota”的20%。
koozb
发表于 2020-10-13 07:20:30
希望楼主文章收录 ，我做网站seo外包的http://www.justinindustries.com/ 诚换友链找我，影视资讯http://rocketheduck.com/ 叮当游戏资讯http://shjuekang.com/ **资讯http://www.bhartimachinery.com/ 科技资讯http://jobsatpapermoon.com/
gydtep
发表于 2020-10-13 09:26:39
等到EMR产品出现后，怎么让大数据计算（最初主要是MapReduce）对接S3，才成为一个真实的技术命题。
gydtep
发表于 2020-10-13 10:52:58
对象存储提供key到blob对象的映射，这个key的名字空间是扁平的，本身并不具备文件系统那样的层次性，因此只能在适配层模拟文件/目录这种层次结构。
gydtep
发表于 2020-10-13 12:19:06
因此即使是每次对象调用操作是原子的，但对于用户来说，对这个目录的操作并不能真正做到原子性。
gydtep
发表于 2020-10-13 13:47:11
其实现机制是各个任务先将计算结果按照part写入到临时位置，然后作业commit的时候再complete这些结果对象到最终位置
gydtep
发表于 2020-10-13 14:43:21
Alluxio一直在做这方面的事情，JindoFS核心定位是数据湖加速层，其思路也同出一辙。
gydtep
发表于 2020-10-13 16:17:02
上面讨论对象存储适配的时候我们提到，一些文件/目录操作的原子性需求在本质上是解决不了的，比如文件的rename，目录的copy，rename和delete。
gydtep
发表于 2020-10-13 18:43:42
如何兼容支持和有力优化这类格式，也需要进一步考虑。
页:
1
2
3
[4]
5
6
7
8
9
10
11
12
13
