gydtep

今天处理数据绝大部分都不是单纯靠算力，算力是基础，而主要是靠上面的智能化的算法，算法跟各行各业的业务有密切相关，所以阿里巴巴通过与各行各业合作，沉淀了一个完整的智能化平台。

gydtep

未来学家认为，机器智能最终会超越人的智慧，而这两者的临界点就被称为「奇点」。从这点来说，我们可以认为，阿里巴巴已经跨越了奇点，真正成为一家数据公司。

gydtep

淘宝还只是一个简单的网站，淘宝的整个结构就是前端的一些页面，加上后端的DB（DataBase，数据库），只是个简单的OLTP系统，主要就是交易的事务处理。

gydtep

在奇点云和某酒类客户的合作过程中，我们最大的收获不是帮助客户完成了数据中台的搭建，而是通过理解客户的业务，把其经验沉淀到数据中台，从而赋能客户更多的端上的创新业务，带来了生意的增量。

gydtep

这在适配层面带来的挑战就是，需要处理比传统文件系统要大许多的数据量和文件数量。

gydtep

这带来的影响就是，举个栗子，程序明明往一个目录里面刚刚写好了10个文件，结果随后去list，可能只是部分文件可见。

gydtep

另外一个是，所有parts都是先写入到一个staging区域的，直到complete的时候整个对象才在目标位置出现。

gydtep

而GPU训练程序则是期望数据完全本地化一样的极大吞吐。像这种局面该如何破呢？

gydtep

我们在JindoFS上优化好OSS适配，把Jindo分布式缓存性能做到效能最大化，能满足绝大多数大规模分析和机器学习训练这些计算。

gydtep

在功能上提供Xattributes支持，文件权限支持，Ranger集成支持，甚至是auditlog支持；在性能上希望不低于HDFS，最好比HDFS还好，