gydtep
发表于 2021-10-27 20:58:11
在软件架构层面中， FaaS 将复杂的业务逻辑拆解成一系列细粒度的函数，并通过事件驱动的方式触发调用。函数之间是松耦合的，可以通过如下两种典型的模式进行协同、组合。
gydtep
发表于 2021-10-28 08:16:34
FaaS 的核心思维是：开发者不必关心基础设施运维、容量规划或者扩容缩容，只需为使用的云资源和服务付费既可。这个思考的背后是：让开发者避免投入基础设施的运维，尽可能复用现有的云服务能力，让开发时间重新分配到对用户有更有直接影响和价值的事情上，比如健壮的业务逻辑、能吸引用户的界面及快速响应、可靠的 API 上。
gydtep
发表于 2021-10-28 15:39:34
平台开发商可以针对具体的操作系统和运行环境提供 WASI 接口不同的实现，可以在不同设备和操作系统上运行跨平台的 WebAssembly 应用。这可以让应用执行与具体平台环境实现解耦，使得应用“Build Once, Run Anywhere”的理想逐渐形成现实。
gydtep
发表于 2021-10-29 08:07:33
最明显的就是小文件问题，用批量数据通道写特别碎的数据进来会产生大量的碎片文件，跑SQL查询就会非常慢，用Tunnel下载也会非常慢。
gydtep
发表于 2021-10-29 09:00:11
流式上传在架构上做了升级，有一个异步处理的机制，会把用户写进来的数据在后台进行加工，所以后面会支持Hash Clustered表。
gydtep
发表于 2021-10-29 12:23:36
一般来说，Access ID，Access Key, 和ODPS Endpoint是必选的，Tunnel Endpoint可选，Default project如果只有一个只填一个就行了。
gydtep
发表于 2021-10-29 18:20:36
另外，流式服务是支持异步数据处理的，也就是除了保证用户通过流式写上来的数据可读之外，服务端还有一个机制能识别出来新写进来的数据和存量数据，可以对新写出来的数据做一些异步的处理，比如zorder by排序和墨纸。
gydtep
发表于 2021-10-29 19:00:04
ZorderBy排序是指一种数据的组织方式，可以把存在MaxCompute的数据按某些规则重新组织一遍，这样查询的时候效率会非常高。墨纸是指支持把数据在后端重新写一遍，把一些很碎的数据重新组织成存储数据存储效率较高的数据文件。在这个基础上还可以做一些排序和其他的处理，后续会再加更多的功能。
gydtep
发表于 2021-10-29 19:30:12
流式上传也会有一些限制。首先在写的时候，系统会对这个表加锁，流式写的时候其他的操作是不能写的，比如InsertInto和Insert Overwrite是会失败的，要把流式停掉之后才能正常写。另外，DDL有一些延迟，如果要drop table或者rename table的话，可能drop完还能成功写几条数据，会有最多60秒的延迟。如果有这种场景，建议先把流式停掉再去drop或者rename。
gydtep
发表于 2021-10-29 20:18:25
图中可以看到，TableTunnel创建了一个叫downloadSession的对象。可以得到record Count，指一个分区或者一张表的总行数。下面是open reader，可以和批量上传对应起来: reader和writer; uploadSession和downloadSession。
