gydtep
发表于 2020-8-2 13:32:16
最难做的是全组件的热迁移,包含芯片、FPGA组件全部做热升级。解决了热升级的问题,我才解决整个研发上能够快速迭代的难题。
gydtep
发表于 2020-8-2 14:46:39
刚刚一直提到的Dragonfly Hypervisor有以下特点:
超轻薄,资源零损耗。内存占用大概每个虚拟机不到1 MB,但是CPU占用小于0.1%
gydtep
发表于 2020-8-3 09:28:38
完成从数据的抽取,预处理,模型训练,评估,预测,模型解释,运筹规划等工作流的构建。
gydtep
发表于 2020-8-3 09:49:06
为什么要使用SQL语言描述端到端AI任务
gydtep
发表于 2020-8-3 11:01:39
抽取数据之后需要进行数据预处理,比如去掉错误的数据,填充缺失的数据,整理,排序等。
gydtep
发表于 2020-8-3 14:24:20
另外从需求到上线,为了保证线上服务和数据产出的稳定,也需要通过许多的步骤。比如业务同学说:「活动要上线了,时间点很关键,明天必须发布!」
gydtep
发表于 2020-8-3 16:12:39
在描述模型训练任务时,使用 SQLFlowSQL 只需要编写 SELECT * FROM iris.train TO TRAIN DNNClassifier LABEL class INTO my_dnn_model; 即可,如果使用Python完成相同的任务则需要编写如下图这样的较长的代码。
gydtep
发表于 2020-8-3 21:30:39
其中, SELECT * FROM iris.test 指定使用另一个表 iris.test 作为验证集,TO e valUATE my_dnn_model 指定要评估的模型是我们刚才训练的my_dnn_model,LABEL class 指定评估数据集中的标签列为 class,I
gydtep
发表于 2020-8-4 10:04:47
另外,在开始训练之前,我们还需要确定使用哪个模型,XGBoost模型还是深度学习模型,哪个模型更适合当前的场景?
gydtep
发表于 2020-8-4 11:22:24
在模型训练阶段,算法工程师首先需要掌握各种建模的能力,算法原理和基础知识,也需要熟练使用各种机器学习引擎如 sklearn, XGBoost, Tensorflow, Pytorch等;