gydtep
发表于 2022-1-17 15:35:42
除了数据需要进行异构处理外,一些计算规则也需要迁移到信息流处理中,比如商家的店铺信息处理等。数据和计算规则的异构使我们能够实现解耦,这种设计对应着一个标准化的范式。几乎在所有的业务场景都能看到这种设计。
gydtep
发表于 2022-1-17 15:48:04
理论上,这种架构设计是可以扩展的。信息流处理和业务流处理被解耦后就可以被部署在不同的节点中。比如,在国际支付时可以将信息流处理逻辑部署在支付方所在的区域中,这就使得支付操作不需要依赖原来的处理逻辑所部署的机房。需要注意的是,在将数据部署在其它机房时,通常需要一些额外的处理,比如信息安全等内容。
gydtep
发表于 2022-1-17 16:22:26
分布式事务中通常有一个发起者和多个参与者。发起者发起一个预提交,在所有参与者确认后,该任务才被执行。这对应着一个二阶段确认过程,即先发起、再确认、后执行。配置灰度设计和分布式事务处理非常类似。
gydtep
发表于 2022-1-17 19:44:01
一是云原生技术,包括容器、K8s、微服务、DevOps。而这些技术只是一个工具,要想真正地用好这些技术,还需要一些最佳的实践和组合,也就是云原生架构。
gydtep
发表于 2022-1-17 20:15:17
云原生架构是基于云原生技术的一种架构原则和设计模式的集合,是一些指导原则,比如要求做好可观测,只有在做好可观测的前提下才能做好后续的弹性,包括高可用相关的建设及基础设施的下沉,希望对非业务代码的部分进行最大化的剥离,在这样的技术和架构设计的指导下,就可以设计出云原生应用。
gydtep
发表于 2022-1-18 11:00:09
二是网络的连通或者云体系的打通,我们要跟用户的网络体系打通,这样用户才可以方便地和他的安全组、安全的规则、RDS 等连通,这也是一个核心的问题。
gydtep
发表于 2022-1-18 11:15:15
在这里具体展开一下防逃逸问题。上图表格是现在大家讨论的比较广泛的安全容器技术,安全容器简单理解就是虚拟机思想。如果使用传统的像 Docker 这样的容器化技术,很难做好安全的防护或隔离,而安全容器可以理解为一个轻量级的虚拟机,既有容器的启动速度,又有虚拟机的安全。
gydtep
发表于 2022-1-18 17:20:11
随着 IT 能力的规模化,一些数据化、智能化的创新技术和业务模式逐渐形成。比如 ECS 宕机预测和自动热迁移,可以将虚拟机的 SLA 提升到传统需要硬件冗余才能达到的稳定性标准;RDS 对数据库的自动优化和问题诊断,无需 DBA 的人力过多介入。
gydtep
发表于 2022-1-19 09:33:18
面对海量的数据和复杂的计算,数据计算层包括两大体系:数据存储及计算云平台和数据整合及管理体系。
- 数据存储及计算云平台
例如,MaxCompute是阿里巴巴自主研发的离线大数据平台,其丰富的功能和强大的存储及计算能力使得企业的大数据有了强大的存储和计算引擎;StreamCompute是阿里巴巴自主研发的流式大数据平台,在内部较好地支持了企业流式计算需求。
gydtep
发表于 2022-1-19 10:15:51
“OneModel”是数据整合及管理的方法体系和工具,大数据工程师在这一体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致,充分发挥在大数据海量、多样性方面的独特优势。借助这一统一化数据整合及管理的方法体系,构建企业数据公共层,并可以帮助相似大数据项目快速落地实现。