gydtep 发表于 2023-2-17 07:34:31

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服 务,广泛用于日志收集、监控数据聚合、流式数据处理

gydtep 发表于 2023-2-17 09:12:08

消息队列 AMQP 版由阿里云基于 AMQP 标准协议自研,完全兼容 RabbitMQ 开源生态以及多语 言客户端,打造分布式、高吞吐、低延迟、高可扩展的云消息服务。

gydtep 发表于 2023-2-18 18:49:47

然后看具体的配置项,图中左侧列举的是比较关键的几个。Access ID和Access Key就是账号信息,阿里云通过这个来表示一个账号。

gydtep 发表于 2023-2-18 20:25:38

总结一下,基本的功能点有:
批量上传是有状态并发;
commit成功后数据才可见;
支持insertOverwrite, 也支持InsertInto语义。

gydtep 发表于 2023-2-19 08:01:17

图中可以看到,接口是CreateStreamUploadSession,写数据的从writer改成了RecordPack。所谓的pack其实相当于一个内存里的buffer,可以用pack.append(record)

gydtep 发表于 2023-2-19 13:09:47

流式上传也会有一些限制。首先在写的时候,系统会对这个表加锁,流式写的时候其他的操作是不能写的,比如InsertInto和Insert Overwrite是会失败的,

gydtep 发表于 2023-2-19 14:36:56

使用限制方面,和批量上传类似,DownloadSession限制也是24小时,因为它也有临时文件。同样空闲链接120秒超时,另外还有Project级别并发限流,性能受碎片文件影响。

gydtep 发表于 2023-2-19 17:54:02

以上就是关于MaxCompute Tunnel技术原理及开发实践的介绍。
更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群进行咨询。

gydtep 发表于 2023-2-19 19:50:56

“Software architecture refers to the fundamental structures of a software system and the discipline of creating such structures and systems. ” - 维基百科。

gydtep 发表于 2023-2-20 10:10:05

面向对象的软件架构中,最重要的是定义对象以及对象的接口契约。SOLID 原则是最被人广为熟知的设计原则。

Single responsibility principle - 单一职责原则
页: 530 531 532 533 534 535 536 537 538 539 [540] 541 542 543 544 545 546 547 548 549
查看完整版本: 免费领取阿里云服务器2000元代金券!