gydtep

对于数据驱动，很多人做到一定程度之后，脑海中会形成一定的方法论和体系，进而形成驱动流程和组织机制。大家也听了很多方法论，包括增长黑客等，貌似自己已经很懂数据驱动了，但是实际操作起来可能连“什么是事件属性这种基础的概念都不了解”，这是很多业务线同学普遍的现状。

gydtep

早些时候，大家对“数据驱动”的理解是“报表驱动”。2016年、2017年的时候，一家处于C轮、D轮的深圳公司，该公司有1000多份报表，每张有10个Sheet，每个表格有20多个指标，大家可以算下一共有多少个指标，他们内部的数据团队都不知道哪些指标有用、哪些没有用。为了督促大家去看这些报表，公司还监控了邮箱。

gydtep

今天，很多C端产品要改版要升级，那么，在改版之前要搞清楚为什么要改？目标是什么？之后所有的工作都是以这两个问题的答案为导向。

gydtep

目前，由于疫情的原因，很多人在家使用钉钉移动协同办公， 如果某个人的KPI出现异常或者波动就会自动同步到群里，分析师会到后台分析异常原因。另外，团队运营人员在后台可以直接用运营弹框来组织活动，并对相关人群做触达并观看效果……

gydtep

Liskov substitution principle - 里氏替换原则

Interface segregation principle - 接口隔离原则

Dependency inversion principle - 依赖翻转原则

将以上五个原则的英文首字母拼在一起就是 SOLID 原则，这也是帮助我们构建高内聚，低耦合、具备柔性的应用架构。在分布式微服务应用架构中，API优先是契约优先（Contract First）的自然拓展。

gydtep

2、与传统同步处理方式相比，异步事件处理存在与事件排序、幂等性、回调和异常处理相关的要求，整体设计难度更大一些。

gydtep

Hash Clustered表和Range Clustered表并不适合Tunnel去写，因为数据在存储上需要做一个系统，而且会排序，而Tunnel集群规模没有计算机集群那么大，没有这个能力去做排序。

gydtep

Insert overwrite指commit的时候支持使用某个upload session的数据直接overwrite掉一整个分区或者一张表，类似SQL的Insert和Overwrite的功能。
这个功能也有使用限制。

gydtep

上图是Tunnel总体功能的表格。现在有两套API，分批量数据通道和流式数据通道。
批量数据通道目标的场景单并发的吞吐量很大，这种理想的场景是传量大的数据，一次一批，QPS和并发都不能特别高，但是单并发的吞吐量可以做得很大，这个在API上也有一些优化。

gydtep

ODPS Endpoint是服务的一个入口，现在在公共云上应该有21个region，包括金融云和政务云，中国有7个，海外有14个。每个region的endpoint是不一样的，使用时需要找到自己购买的region服务，并正确填写endpoint进去。