[国内信息] 免费领取3000元阿里云代金券 [复制链接]
查看:532486 | 回复:1184

gydtep · 发表于 2022-4-19 18:49:27

统一的系统：拒绝割裂，能够在一个系统中支持Traces、Metrics、Logs的统一存储与分析
数据可关联：每种数据内部可以互相关联，也支持跨数据类型的关联，能够用一套分析语言把各类数据进行融合分析

gydtep · 发表于 2022-4-19 19:25:05

统一的系统：拒绝割裂，能够在一个系统中支持Traces、Metrics、Logs的统一存储与分析
数据可关联：每种数据内部可以互相关联，也支持跨数据类型的关联，能够用一套分析语言把各类数据进行融合分析

gydtep · 发表于 2022-4-19 20:41:22

1. 足够的算力：分布式、可扩展，面对PB级的数据，也能有足够的算力去分析
2. 灵活智能的算法：除了基础的算法外，还应包括AIOps相关的异常检测、预测类的算法，并且支持对这些算法进行编排

gydtep · 发表于 2022-4-20 10:04:58

Traces/Logs：最简单直接的方式是关键词的查询，包括TraceID查询也只是关键词查询的特例
数据分析（一般针对Traces、Logs）：通常Traces、Logs还会用于数据分析和挖掘，所以要使用图灵完备的语言，一般程序员接受最广的是SQL

gydtep · 发表于 2022-4-21 13:47:33

架构师需要什么样的能力
架构师需要什么样的能力？我参考了很多外面一些同学的分享，总结出来其实就是发现问题、分析定义问题、解决问题。

gydtep · 发表于 2022-4-21 14:04:50

对局部和全局的问题需要有发现的眼光，更应该有发现未发生问题的能力，哪些是需要治标，哪些需要治本，这个是发现问题的基本判断力。现在系统可能没什么大问题，但你要有发现的眼光，这些问题如果不解决

gydtep · 发表于 2022-4-22 10:08:46

在容器技术出现之前，DevOps理论已经发展多年。但是如果”开发“与”运维“团队不能用相同的语言进行交流，一致的技术进行协作，那就永远无法打破组织和文化的藩篱。

gydtep · 发表于 2022-4-22 13:21:05

互联网日志采集体系包括两大体系：Web端日志采集技术方案；APP端日志采集技术方案。

在采集技术之上，企业可以用面向各个场景的埋点规范，来满足日志数据打通等多种业务场景。

gydtep · 发表于 2022-4-22 13:21:27

同时，还可以建立了一套高性能、高可靠性的数据传输体系完成数据从生产业务端到大数据系统的传输；在传输方面，采集技术可既包括数据库的增量数据传输，也包括日志数据的传输；

gydtep · 发表于 2022-4-22 13:31:15

；既需要能支持实时流式计算、也能实时各种时间窗口的批量计算。另一方面，也通过数据同步工具直连异构数据库（备库）来抽取各种时间窗口的数据。

下图展示数据采集层在数据分层中的位置：