gydtep
发表于 2021-3-1 10:35:16
应用实时监控服务ARMS（Application Real-Time Monitoring Service）起源于阿里巴巴内部的EagleEye（鹰眼）系统，已经经历了近10年的沉淀和演进。鹰眼系统同时将基础设施层、分布式应用层、业务逻辑层与客户端层进行了全链路跟踪，每天对万亿级别的分布式调用进行分析，对底层的流计算、多维时序指标与事件存储体系等进行了大量优化，同时引入了时序检测、根因分析、业务链路特征等技术，将问题发现与定位由被动转为主动。
gydtep
发表于 2021-3-1 15:08:30
如果在应用列表视图，并没有发现亮红灯的应用，我们可以从健康度百分比、请求数、错误数、异常数、最近10分钟响应时间等数据中，快速判断一下有没有比较明显的与实际情况存在出入的应用。比如在最近10分钟内，有一个应用从某一个时间点开始，响应时间明显变长，我们就可以把这类应用列入需要进一步进行分析的名单。
gydtep
发表于 2021-3-2 13:08:59
致力于在技术上有所成就的工程师，都梦想有朝一日成为技术高手。但技术高手的标准却存在很大的争议。这是一个有着悠久历史的误解：以某种技术的掌握作为技术高手的评判标准。我经常碰到这样一些情景：因为掌握了某些技术，比如Spring、Kafka、Elasticsearch等，一些工程师就自封为高手。有些工程师非常仰慕别的团队，原因竟是那个团队使用了某种技术。
gydtep
发表于 2021-3-2 15:47:22
比如下面这个流传很久的段子：越高级的语言就越没有技术含量。但真是这样吗，就拿Java和C来说，这是完全不同的两种语言，所需要的技能完全不同。C或许跟操作系统更加接近一点，和CPU、内存打交道的机会更多一点。但是为了用好Java，程序员在面向对象、设计模式、框架技术方面必须要非常精通。Java工程师转到C方向确实不容易，但作者也见过很多转到Java语言的C工程师水土不服。
gydtep
发表于 2021-3-3 10:08:03
认识K8S集群资源时，不再按照传统方式以节点单元切分，笔者选择工作负载，存储以及网络这三个方面介绍资源类型，是基于K8S提供的核心资源对象Pod，PVC/PV以及Service/Ingress实现了最基本的集群资源管理与容器编排。在K8S集群中，CPU以及内存资源定义包含在Pod内，用户无法从K8S直接管理。PVC/PV模式解耦了存储资源与节点资源。Service提供了自动服务发现，使得K8S集群具备自愈能力。Ingress提供了对集群网络流量的控制，使得K8S可以一体化考虑工作负载与网络负载，达到弹性伸缩。
gydtep
发表于 2021-3-3 14:57:31
在上文介绍工作负载时，我们提到可以通过requests和limits来确定容器运行资源消耗的用量和额度。因为节点资源并不能全部用来做资源调度，建议在定义Pod模版时，最好对容器的resources->requests和resources->limits都做明确的定义，以防止工作负载与K8S组件竞争资源导致调度失败。
gydtep
发表于 2021-3-4 12:15:36
自上线以来，新增训练集总数达到了 2729 个，平均每月回捞有效数据 909 个, 模型经过几次自我迭代测试集的准确度从 80% 提升到了 83%。
gydtep
发表于 2021-3-4 15:40:19
智能 UI 是一种通过分析用户特征为用户提供个性化 UI 的方案，因此需要开发大量的 UI 界面，在淘系智能 UI 平台鲸幂中开发智能 UI 的原始链路是在上传视觉稿解析物料之后会批量创建 imgcook 模块，但每种物料都需要进入对应的 imgcook 可视化界面单独开发、创建仓库、单独发布，并且看不到智能 UI 整体的视觉效果。这样导致智能 UI 所需要的大量物料的开发成本很大，业务接入智能 UI 的成本比较大。
gydtep
发表于 2021-3-5 11:48:40
Default project这个参数是在弹内经常用的。 MaxCompute的权限管理非常丰富，比如如果在公共云上有多个project，想要控制数据在跨project流动的话，就可以通过这个参数来配置。ODPS里设置的Default Project可以理解为是原project，下面的create Stream Session里面又有一个project，即要访问数据所在的project。如果这两个project不一样，系统会检查这个权限，用户是否可以访问目标project的数据。如果跑SQL，它也会根据原project来控制资源的使用。如果只有一个，这两个填成一样的就可以。
gydtep
发表于 2021-3-5 14:33:16
TableTunnel创建了一个叫downloadSession的对象。可以得到record Count，指一个分区或者一张表的总行数。下面是open reader，可以和批量上传对应起来: reader和writer; uploadSession和downloadSession。Openreader是按record来区分的，比如有1000行，可以分十个100行并发下载。Download支持列裁剪，也就是可以下载其中几列。下载查询结果就把TableTunnel入口类改成InstanceTunnel，odps也是一样，53行就不是project, table了，是一个InstanceID。
