gydtep
发表于 2021-8-2 17:11:58
DevOps 就是为了提高软件研发效率,快速应对变化,持续交付价值的的一系列理念和实践,其基本思想就是 持续部署(CD),让软件的构建、测试、发布能够更加快捷可靠,以尽量缩短系统变更从提交到最后安全部署到生产 系统的时间。
gydtep
发表于 2021-8-2 17:24:41
DevOps 理念从提出到现在,已经深刻影响了软件开发过程。DevOps 提倡打破开发、测试和运维之间的壁垒,利用技术手段实现各个软件开发环节的自动化甚至智能化,被证实对提高软件生产质量、安全,缩短软件发布周期等都有非常明显的促进作用,也推动了 IT 技术的发展。
gydtep
发表于 2021-8-3 10:11:53
Serverless 容器技术逐渐成为市场主流
Serverless 和 容 器 技 术 也 开 始 融 合 得 到 了 快 速 的 发 展。通 过 Serverless 容 器, 一 方 面 根 本 性 解 决 Kubernetes 自身复杂性问题,让用户无需受困于 Kubernetes 集群容量规划、安全维护、故障诊断等运维工作;一方面进一步释放云计算能力,将安全、可用性、可伸缩性等需求下沉到基础设施实现。
gydtep
发表于 2021-8-3 15:48:47
这个方向需要探索和结合场景实践,低代码开发需要根据场景选择产品,有些场景适合使用纪元,有些场景适合使用 Astore ,有些场景适合使用类似斑马产品,有些场景适合使用宜搭 Pro/ 宜搭,我们需要有一个底座,需要和云原生的技术体系结合,然后更好更多的整合产品进来形成一个场景系列解决方案。低代码开发的思考,我将在另外一篇文章中进行总结和思考。
gydtep
发表于 2021-8-4 08:25:06
针对这种场景平台提供了流式数据通道服务,通过流式数据上来可以写得特别碎,一行写一次也可以,不需要担心小文件的问题,也不用担心并发的问题,并发可以无限多。流式数据通道是不限并发的,但是批量是限并发的。
gydtep
发表于 2021-8-4 11:29:32
避免产生覆盖。Upload session也是有状态的,没有commit就不可见; 如果commit成功了,这个session就结束了,暂时就不能再去open writer。Writer的实现原理是open一个writer请求,系统会发一个HTP请求到服务端,然后保持这个长链接,写数据时平台会实时地把数据写到服务端,writer是写一个临时目录。
gydtep
发表于 2021-8-4 14:37:00
流式上传也会有一些限制。首先在写的时候,系统会对这个表加锁,流式写的时候其他的操作是不能写的,比如InsertInto和Insert Overwrite是会失败的,要把流式停掉之后才能正常写。另外,DDL有一些延迟,如果要drop table或者rename table的话,可能drop完还能成功写几条数据,会有最多60秒的延迟。如果有这种场景,建议先把流式停掉再去drop或者rename。
gydtep
发表于 2021-8-4 18:04:03
API 优先的应用架构设计
在面向对象的软件架构中,最重要的是定义对象以及对象的接口契约。SOLID 原则是最被人广为熟知的设计原则。
Single responsibility principle - 单一职责原则
gydtep
发表于 2021-8-5 10:31:40
互操作性。在现实世界中,事件无处不在,然而不同生产者对事件的描述却不尽相同。开发者希望无论事件是从哪里发出,都能够以一致的方式构建事件驱动的应用程序。
gydtep
发表于 2021-8-5 13:50:31
同时在新的微服务架构中已经内置了可观测探针,比如在 SpringBoot 的 2.3 发布了两个新的 actuator 地址,/actuator/health/liveness 和 /actuator/health/readiness ,前者用作存活探针,后者用作就绪探针。业务应用可以通过Spring系统事件机制来读取、订阅、修改 Liveness State 和 Readiness State ,这样可以让 Kubernetes 平台可以做更加准确的自愈和流量管理。