[国内信息] 免费领取阿里云服务器2000元代金券！ [复制链接]
查看:815658 | 回复:5949

gydtep · 发表于 2020-4-30 11:49:17

在一个标准的 pipcook pipeline 中，我们会使用 Dataset API 对数据进行包装和处理。如图所示是一个典型的数据流通的过程。

gydtep · 发表于 2020-4-30 13:01:03

随后，在 model load 中，数据会以 batch 的形式读入模型进行训练

gydtep · 发表于 2020-4-30 13:11:19

至此，我们可以将数据集想象为一组训练数据的可迭代集合，如同 Node.js 中的 Stream。

gydtep · 发表于 2020-4-30 13:19:15

并且执行预先设置好的数据处理操作函数。这种抽象使得模型可以轻松训练大量的数据。

gydtep · 发表于 2020-4-30 14:30:04

大部分模型基于 tfjs 实现。同时 tfjs-node 还提供了 gpu 加速等功能，可以提高模型训练的速度。

gydtep · 发表于 2020-4-30 15:32:40

服务器 docker 镜像：pipcook 提供了官方镜像，此官方镜像包含了 pipcook 训练和预测的必要环境, 您可以直接将此镜像部署到您的部署主机上，

gydtep · 发表于 2020-4-30 15:40:46

也可以使用 k8s 等集群解决方案管理 docker 镜像
云服务打通：pipcook 将会在后续开发中逐渐打通各云服务厂商的机器学习部署服务，

gydtep · 发表于 2020-4-30 16:25:19

TFX 采用的是 DAG 的方式，因为其涉及到数据生成，对数据进行统计分析，

gydtep · 发表于 2020-4-30 18:37:07

基于以上这些设计，我们尽量尝试去构建一个对前端友好的机器学习环境，从而达到我们的预期和目标。

gydtep · 发表于 2020-4-30 21:07:04

切实提高前端研发效率，减少简单的重复性工作，不加班少加班，一起专注更有挑战性的工作内容！