[国内信息] 阿里云2000元专属红包领取及使用说明 [复制链接]
查看:831386 | 回复:7826

gydtep · 发表于 2019-11-4 08:24:52

就开始做各种各样的Benchmark，比如2015年100TB的Sorting，2016年我们做CloudSort，

gydtep · 发表于 2019-11-4 09:21:17

最底层的计算模型是高效的算子层和存储层，这是非常底层的基础优化

gydtep · 发表于 2019-11-4 09:39:28

我们先来看单一算子和引擎框架的极致优化，我们用的是比较难写难维护的框架，

gydtep · 发表于 2019-11-4 10:14:04

除了计算模块，它还有存储模块，存储分为4个象限。

gydtep · 发表于 2019-11-4 10:29:21

我们存储层其实是基于开源ORC的标准，我们在上面做了非常多的改进和优化，

耀磊小赵 · 发表于 2019-11-4 10:42:38

镇江电信机房：
CPU：L5630*2 (8核16线程 )
内存：32G
硬盘：240G SSD或3T SATA
带宽：20M
价格：月付399 季付299*3
自营机房，品质保证，线路稳定，24小时
金牌售后，欢迎随时咨询QQ：82316271

gydtep · 发表于 2019-11-4 10:43:59

所以我们就提到灵活的算子组合。举几个数字，我们在Join上有4种模式

gydtep · 发表于 2019-11-4 10:49:12

使得运算效率更高。通过这种动态的算子组合，是我们优化的第二个维度。

gydtep · 发表于 2019-11-4 11:44:36

我们在考虑如何用人工智能及自学习技术来做大数据系统，大家可以想象学骑自行车

gydtep · 发表于 2019-11-4 12:25:54

当跑过之后就能够搜集到信息和经验，通过这些经验再反哺去优化数据，