gydtep

第二大块是物理架构。大家在阿里可能都听说过，我们有一个比较有名的单元化架构，其实不光阿里有单元化架构，很多公司都有类似的架构。比如微信。阿里和他们的单元化架构其实有一些本质的区别。

gydtep

离线数据采集主要包括从数据库中采集，如MySQL、Oracle、MongoDB等；从离线文件采集，如外部系统数据。每天凌晨会抽取前一天的数据（T+1），对于维度数据一般采用每次全量采集，对于业务数据，为了提高采集效率，同时也为了保住业务数据库的稳定性，采用每天增量采集，然后将T+1的数据合并成新的全量数据。

gydtep

对于关系型数据库，如MySQL，一般是有主从数据库的，为了保住稳定和不影响主库的查询性能，我们一般抽取从库数据。对于文件数据抽取前需要先检测文件是否存在，源系统提供文件的时候需要提供对应的校验文件，校验文件里一般包含文件的记录数、字段格式等信息。采集到文件后需要对文件进行校验，文件完整的情况下才能继续后续数据处理程序。

gydtep

实时数据采集主要是一些页面日志的采集，也就是我们常说的用户行为分析数据。日志采集一般有以下几个步骤：数据埋点，数据上报，数据存储。

gydtep

数据埋点：网站上线后一般会植入一段JS脚本，用户访问页面时，JS会收集当前页面的一些信息，用户问的上下文信息以及当前访问的页面业务相关数据。

gydtep

这种异构性使得物联网网络难以用单一的防御系统来覆盖。此外，由于物联网设备的设计成本低廉，因此它们通常是低功耗、节能的设备，没有内置或内置很少的安全框架。

gydtep

机器学习在物联网中的应用
机器学习在识别潜在威胁、发现网络中的漏洞和识别系统性物联网漏洞(例如物联网设备上缺少密码保护或密码保护较弱)，以及解决网络配置以构建防御方面非常有用。机器学习基于海量网络安全数据集和物联网设备配置文件来工作，这使得零日威胁成为许多公司担心的问题。

gydtep

让领导更好的帮助我们工作，我们也帮助他收集更多的信息，辅助他的工作。另外，现在很多公司越来越倾向于扁平化组织，垂直功能组织的职责逐渐被淡化，员工之间的分工协作逐渐会向项目管理模式倾斜。

gydtep

在横向的项目组织里，要平衡两个关系：上游和下游。在项目合作中，我们通常将上游当做乙方去对待：约定好你对它的诉求，对其需要的接口。用比较程序化的语言来说就是要对齐输入输出参数。要将自己的诉求以一种更加具体的数据等形式表现出来。

gydtep

当然我们只需要关心自己的上游，而不需要关心上游的上游。在项目合作中，还要一个非常重要的关系：下游。我们通常将下游当做甲方去对待。我们给下游提供自身的产品或系统能力等，当下游在使用这些产品或系统能力时，我们要去依赖、跟踪。这样看起来是有一些像微服务的。梳理好各自的依赖、梳理好各自的输入输出参数，用微服务的理念来管理工作。