gydtep

那人工智能到底会不会取代前端？人工智能在未来很长的一段时间内不会取代前端，但是会改变前端。一是会改变在前端智能化方向的前端领域探索者，他们除了可以成为 Nodejs 服务端工程师，还可以成为机器学习工程师，为前端智能化领域创造更多的价值和成果；

gydtep

二是会改变享受前端智能化成果的前端开发者，改变他们的研发方式，例如代码智能生成、代码智能推荐、代码智能纠错、UI 自动化测试等可以帮助他们完成大量简单重复的工作，可以把更多的时间放在更有价值的事情上。

gydtep

（D2C 智能还原技术分层）

智能还原的核心链路构成了 D2C 的核心技术体系，并通过度量体系来衡量核心还原能力和研发提效效果。下层依托算法工程体系提供核心技术体系中智能化能力的底层服务，包括样本制造、算法工程服务、前端算法工程框架，上层通过 D2C 研发体系承接智能还原的后置链路，

gydtep

开发同学在开发代码时也经常会有写多余的 console.log、没有注释、变量重复声明等代码不规范的问题，为了解决这些问题，提供了 ESLint、JSLint 等工具来保障代码规范的统一。

gydtep

在设计域，我们也同样可以开发一套设计稿规范智能检查工具来保障设计规范，智能审查设计稿的规范性，提示错误并辅助调整。我们把这套工具称为 Design Lint（DLint）

gydtep

因此，我们引入了一种能结合 UI 中上下文语义的方案来进行语义识别，采用图片元素决策+文本分类两步走的方案解决界面元素语义化问题，具体流程是：先基于强化学习对界面元素按样式“过滤”一遍，识别出有样式的非纯文本字段，再对纯文本的字段进行文本分类。具体框架如下。

gydtep

布局即是代码中每个节点与节点之间的关系，是父子关系还是兄弟关系。从颗粒度大小上划分，可以分为页面间模块/区块之前的关系、模块/区块内原子模块/区块之间的关系以及原子模块/区块内组件、元件之间的关系。

gydtep

样本制造机
算法工程服务提供了 UI 特征识别的模型训练产品，为所有想使用业务组件识别的小伙伴打造一个玩弄机器学习的链路。为了解决使用算法工程服务的关键痛点，所以有了新的衍生产品：样本制造机，为前端 UI 识别的模型提供样本制造捷径。

gydtep

前端算法工程框架
有很多同学会觉得，让前端同学用机器学习技术去解决前端领域的问题，会不会难度很大。为了降低前端工程师使用机器学习的门槛，我们开发了前端算法工程框架 Pipcook。前端工程师可以用熟悉的 JavaScript 来完成机器学习任务。

gydtep

Pipcook 通过提供通用的模型能力，比如图片分类、目标检测、文本分类等，减少了在 imgcook 中从开发到上线这些模型的门槛，使得如此多的底层识别能力也具备快速迭代的可能性。imgcook 全链路的识别能力，如组件识别、Icon 识别、字段语义识别等都是基于 Pipcook 训练。