gydtep
发表于 2023-2-17 07:34:31
消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服 务,广泛用于日志收集、监控数据聚合、流式数据处理
gydtep
发表于 2023-2-17 09:12:08
消息队列 AMQP 版由阿里云基于 AMQP 标准协议自研,完全兼容 RabbitMQ 开源生态以及多语 言客户端,打造分布式、高吞吐、低延迟、高可扩展的云消息服务。
gydtep
发表于 2023-2-18 18:49:47
然后看具体的配置项,图中左侧列举的是比较关键的几个。Access ID和Access Key就是账号信息,阿里云通过这个来表示一个账号。
gydtep
发表于 2023-2-18 20:25:38
总结一下,基本的功能点有:
批量上传是有状态并发;
commit成功后数据才可见;
支持insertOverwrite, 也支持InsertInto语义。
gydtep
发表于 2023-2-19 08:01:17
图中可以看到,接口是CreateStreamUploadSession,写数据的从writer改成了RecordPack。所谓的pack其实相当于一个内存里的buffer,可以用pack.append(record)
gydtep
发表于 2023-2-19 13:09:47
流式上传也会有一些限制。首先在写的时候,系统会对这个表加锁,流式写的时候其他的操作是不能写的,比如InsertInto和Insert Overwrite是会失败的,
gydtep
发表于 2023-2-19 14:36:56
使用限制方面,和批量上传类似,DownloadSession限制也是24小时,因为它也有临时文件。同样空闲链接120秒超时,另外还有Project级别并发限流,性能受碎片文件影响。
gydtep
发表于 2023-2-19 17:54:02
以上就是关于MaxCompute Tunnel技术原理及开发实践的介绍。
更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群进行咨询。
gydtep
发表于 2023-2-19 19:50:56
“Software architecture refers to the fundamental structures of a software system and the discipline of creating such structures and systems. ” - 维基百科。
gydtep
发表于 2023-2-20 10:10:05
面向对象的软件架构中,最重要的是定义对象以及对象的接口契约。SOLID 原则是最被人广为熟知的设计原则。
Single responsibility principle - 单一职责原则