gydtep 发表于 2020-10-20 13:29:55
湖存储可以基于我们熟悉的HDFS,在公共云上也可以选择对象存储,例如阿里云OSS。gydtep 发表于 2020-10-20 15:47:45
对象存储提供key到blob对象的映射,这个key的名字空间是扁平的,本身并不具备文件系统那样的层次性,因此只能在适配层模拟文件/目录这种层次结构。gydtep 发表于 2020-10-20 18:00:22
阿里云OSS提供了强一致性,JindoFS基于这一特性大大简化,用户和计算框架使用起来也无须担心类似的一致性和正确性问题。gydtep 发表于 2020-10-21 07:51:13
数据湖架构对大数据计算的另外一个影响是存/算分离。存储和计算分离,使得存储和计算在架构上解耦,存储朝着大容量低成本规模化供应,计算则向着弹性伸缩,gydtep 发表于 2020-10-21 10:09:55
这种缓存加速是对用户透明的,本身并不需要计算额外的感知和作业修改,在使用上只需要在OSS适配的基础上打开一个配置开关,开启数据缓存。gydtep 发表于 2020-10-21 13:17:38
现有的JindoFS大量部署和使用表明,无论Hive/Spark/Impala这种数仓作业,Presto交互式分析,还是TensorFlow训练,gydtep 发表于 2020-10-21 16:04:39
因为我们坚信,即使同样走深度定制路线,遵循现有标准与使用习惯对用户和计算引擎来说更加容易推广和使用,也更加符合湖加速的定位和使命。gydtep 发表于 2020-10-21 19:49:51
我们结合云上数年的实践经验,沉淀了EMR JindoFS在湖加速上的各种场景、挑战以及对应的技术方案。gydtep 发表于 2020-10-22 09:10:31
在时空范围、要素种类、行动节奏上都对决策、指挥和协同提出了极高要求,传统以人工为主的方式难以适应。gydtep 发表于 2020-10-22 13:30:21
随着智能辅助决策技术和“云端大脑”“数字参谋”“虚拟仓储”的出现,作战指挥决策将由单纯的人脑决策发展为人机混合决策、云脑智能决策和神经网络决策,从而孵化出全新的指挥控制方式。