gydtep
发表于 2022-1-9 08:22:06
JVM监控可以直观展示指定时间段内的多项内存指标,虽然图表能体现出内存使用量过大的情况,但无法显示具体信息,因此如果需要进一步排查问题产生的原因,可以创建内存快照,通过详细的日志查看内存占用的详细信息,方便排查内存泄漏和内存浪费等内存问题。
gydtep
发表于 2022-1-10 09:34:38
除了自动化和机器人等明显的用例之外,人工智能系统还能够优化制造流程,发送早期警报,促进质量检查和质量控制并预测机械设备的故障。关键是收集正确的数据,然后制造商可以开发创新的AI应用,从而使其与众不同。
gydtep
发表于 2022-1-10 17:30:00
在 API 领域,最重要的趋势是标准化技术的崛起。gRPC 是 Google 开源的的高性能、通用的、平台无关的 RPC 框架。它采用分层设计,其数据交换格式基于 Protobuf (Protocol Buffers) 协议开发,具备优秀的序列化/反序列化效率,也支持众多开发语言。
gydtep
发表于 2022-1-10 18:17:25
在传输层协议, gRPC 选择了 HTTP/2,相较于 HTTP/1.1,其传输效率有了很大提升。此外 HTTP/2 作为一个成熟的开放标准,具备丰富的安全、流控等能力,同时拥有良好的互操作性。gRPC 不仅可以用于 Server 端服务调用,也可以支持浏览器、移动 App 和 IoT 设备与后端服务的交互。gRPC 在功能上已经具备完整的 RPC 能力,也提供了扩展机制来支持新的功能。
gydtep
发表于 2022-1-10 19:13:31
Event Driven Architecture 的崛起
谈事件驱动架构 (EDA - Event Driven Architecture),我们首先来解释一下什么是事件。事件是指对已经发生的事情、状态变化等的记录。它们是不可变的(无法更改或删除),并且按其创建顺序排序。相关各方可以通过订阅已发布的事件来获取有关这些状态变化的通知,然后使用所选择的业务逻辑根据这些信息采取操作。
gydtep
发表于 2022-1-10 20:08:11
事件驱动架构是一种构建松耦合的微服务系统的架构方式,微服务之间通过异步事件通信来进行交互。
事件驱动架构实现了事件的生产者和消费者的彻底解耦。生产者无需关注事件如何被消费,同时消费者无需关注事件的生产方式;
gydtep
发表于 2022-1-11 13:36:42
查询结果就是说,如果跑一个SQL,在odpscmd客户端或者DataWorks上对查询结果有1万条的限制。但是这个查询结果可以通过Tunnel下载,就不受条数限制,可以下载完整的查询结果到本地。
总而言之,如果使用SDK的话,就可以做到表格里的这些功能。
gydtep
发表于 2022-1-11 18:54:47
第四,如果open了一个writer但是不写数据,就相当于占了一个空闲链接,服务端会把这个链接直接断掉。
【流式上传】
接下来看一下流式上传的接口。前文中有提到,流式上传是在API上做了简化,还去掉了并发的限制和时间的限制。
gydtep
发表于 2022-1-11 19:27:43
图中可以看到,接口是CreateStreamUploadSession,写数据的从writer改成了RecordPack。所谓的pack其实相当于一个内存里的buffer,可以用pack.append(record),比如判断size只需要判断这个buffer足够大或者条数足够多,然后再flush就可以了(42到44行)。
gydtep
发表于 2022-1-12 10:02:11
从表格中可以看到,通过Tunnel是可以访问这几种资源的:普通表,Hash Clustered表,Range Clustered表和Transactional表,最后是查询结果,这些都是可以下载的;普通表两种上传都支持;