gydtep 发表于 2021-2-10 17:26:30

最后,用个现实的例子,比如你来到一个新的团队,无法把所有人的面孔和名字对应上,经过一段时间的相处,你们天天交流、一起吃喝玩乐,最终你能把每个人都记住,看到其中任何一个人都能叫出ta的名字。

gydtep 发表于 2021-2-11 10:42:57

尽管自动驾驶汽车有很多好处,但仅凭深度学习就无法使自动驾驶汽车成为高级智能的交通工具,因为阻碍自动驾驶汽车走向主流发展的障碍很多。借助深度学习,检测对象的准确性确实会提高,但要付出大量数据的代价。基于数据表示的深度学习功能。数据在神经网络的不同层上表示,然后根据数据模式导出输出。由于深度学习的完整功能是基于数据的,因此与其他AI算法相比,训练神经网络需要更多数据,因此很难创建用于训练它们的数据集。而且,收集训练神经网络所需的数据也非常耗时。

gydtep 发表于 2021-2-13 17:29:01

根据这个流程,如果需要扩容一个应用实例,保守估计也需要 20 分钟以上,其中购买、系统初始化、应用部署都需要占用大量的时间。假设系统流量突增,需要在 2 分钟之内紧急扩容,这个方案就无用武之地了。

gydtep 发表于 2021-2-13 18:22:15

可能有的开发者会认为,目前的业务运行非常的稳定,在用户流量上并不存在明显的突增,所以扩容和缩容是一个伪需求,在将来也不会有这样的需求。这可能是对互联网业务的一种误解,因为完全没有扩容需求的情况是不存在的。

gydtep 发表于 2021-2-13 20:00:53

首先,只要一个系统是为人服务的,就必然存在波峰和波谷。对于一个 7*24 小时运行的系统,不可能永远保持同样的用户流量,二八原则对于很多业务系统依然适用( 80% 的用户流量集中在 20% 的时间段)。即便是用户流量相对平衡的系统,在凌晨也存在流量的低谷,如果能更进一步的释放闲置计算资源,提升资源利用率,就能显著的降低资源使用成本。

gydtep 发表于 2021-2-13 20:41:54

然而,每个团队对于应用的迭代都会有自己的节奏,与此同时,他们又想拥有独立的端到端测试环境,从而实现环境之间的隔离,以避免团队之间的相互影响。这样的话,很有可能会形成多套测试环境:

gydtep 发表于 2021-2-16 08:41:28

delete也是天然满足结合律的,而无论之前都有什么操作,只要执行就好了。

在insert和update操作里面,都有一个转换的过程,而这里有个前提,那就是从DRC拿到的变更数据每一条都是全字段的。可能有人会说这里的转换可以用replace into替换,为什么没有使用replace into呢,首先由于顺序错乱的情况毕竟是少数,而且我们并不单纯复制数据,同时也是在复制操作,而对于DRC来说,replace into操作会被解析为update或insert。这样无法保证消息唯一性,也无法做到防循环广播,所以并不推荐。

gydtep 发表于 2021-2-16 09:39:03

从整体上看,数据中台体系架构可分为:数据采集层、数据计算层、数据服务层三大层次。通过这三大层次对上层数据应用提供数据支撑。

gydtep 发表于 2021-2-16 10:22:02

互联网日志采集体系包括两大体系:Web端日志采集技术方案;APP端日志采集技术方案。

gydtep 发表于 2021-2-16 10:35:07

在采集技术之上,企业可以用面向各个场景的埋点规范,来满足日志数据打通等多种业务场景。同时,还可以建立了一套高性能、高可靠性的数据传输体系完成数据从生产业务端到大数据系统的传输;在传输方面,采集技术可既包括数据库的增量数据传输,也包括日志数据的传输;既需要能支持实时流式计算、也能实时各种时间窗口的批量计算。另一方面,也通过数据同步工具直连异构数据库(备库)来抽取各种时间窗口的数据。
页: 319 320 321 322 323 324 325 326 327 328 [329] 330 331 332 333 334 335 336 337 338
查看完整版本: 免费领取阿里云服务器2000元代金券!