gydtep

3）从使用上来说，离线加工，实时加工以及统一数据服务层等处理过程中均使用不同的加工语言和接口，使用起来并不容易；
4）学习成本非常高，增大了应用成本。

gydtep

企业基于Hadoop生态构建大数据平台是总有些无法绕开的问题，比如：
1）想对作业调优，但是不懂内核，技术门槛高、运维人员缺乏

gydtep

当然，这些都是底层的技术问题，用户对此并不关心，也不需要关心，对于用户来说，人工智能技术的应用能否真的提升效率，而不是浮于表面的漂亮概念，才是最重要的。

gydtep

上下游依赖更多：问题的定位最终都会从上下游来排查，在微服务、云、K8s的环境中，上下游将更加多，包括各类其他业务应用、云上使用的各类产品、各种中间件、K8s自身、容器运行时、虚拟机等等。

gydtep

运维人员安全职责：从维护数据到支撑业务，根据业务相关性分成3层：
·第一层是数据的安全性，也就是如何防止托库。保障好数据库安全，这一层的能力更专注在数据库本身防护，比如加密技术，权限控制技术。比如数据库被暴力破解，因为没有加密，被黑客攻破后把这个数据完全荡走，在日常的运维过程当中接触最多，需要对数据库做内在或者外围加固，防止数据库系统被攻破，把里面的数据拖走或者是毁坏。

gydtep

首先利用传统匹配算法Sift自动生成模型所需的训练数据，完成模型的冷启动；并且在模型上线后，对线上人工作业结果进行自动挖掘，并组织成训练数据，以迭代模型优化。

gydtep

并人工标注挖掘出的有价值数据。两者区别在于是否需要部分人工标注，半监督学习是完全由模型自身产生标签，

gydtep

Eric Evans在《领域驱动设计：软件核心复杂性应对之道》文中提出了传统的四层结构，但是实际上存在一定的问题。

gydtep

在横向的项目组织里，要平衡两个关系：上游和下游。在项目合作中，我们通常将上游当做乙方去对待：约定好你对它的诉求，对其需要的接口。用比较程序化的语言来说就是要对齐输入输出参数。

gydtep

这就产生了宿命论，比如说日心说到地心说、清朝缠足陋习的改变和消亡都是经过了经过几十年、上百年的斗争才得以成功，所以时间在吞噬旧的观念，也在衍生新的观念。超过同时代的认知，可能就决定了我们的思想高度。