gydtep
发表于 2020-12-31 16:46:45
Flink 的 DataStream API 和 Table API 都已 Python 化，用户可以用纯 Python 语言开发 Flink 程序；Flink SQL 中支持 Python UDF/UDTF；PyFlink 集成了常用的 Python 类库如 Pandas，在 PyFlink 中可以直接调用 Pandas UDF/UDAF。
gydtep
发表于 2020-12-31 16:49:27
Flink 的 DataStream API 和 Table API 都已 Python 化，用户可以用纯 Python 语言开发 Flink 程序；Flink SQL 中支持 Python UDF/UDTF；PyFlink 集成了常用的 Python 类库如 Pandas，在 PyFlink 中可以直接调用 Pandas UDF/UDAF。
gydtep
发表于 2020-12-31 17:05:03
大数据与 AI 一体化流程管理也是一个很值得深入探讨的问题，其背后的本质问题是在离线学习实时化的大背景下，如何设计离线在线机器学习一体化的流程管理架构，以及该架构如何与大数据工作流程相结合，实现大数据与机器学习全链路一体化的问题。
gydtep
发表于 2021-1-2 10:07:22
集中式云资源通常用于训练深度学习推理模型，因为开发精确模型需要大量数据和计算。生成的模型可以部署在中央云位置，也可以分发到边缘的设备。
gydtep
发表于 2021-1-2 10:44:43
消息来源。一些培训正在边缘进行，并且越来越多地关注联合学习的概念，该概念将处理集中在数据区域，同时集中结果以消除区域偏见。
gydtep
发表于 2021-1-2 11:25:14
更好的网络基础架构和新的边缘计算架构的兴起，正在打破集中式云AI与分布式边缘AI工作负载之间的障碍。
gydtep
发表于 2021-1-3 12:20:08
实时同步的架构是高可用的，DataWorks数据集成在管控层和执行层都做了备用机器结构，如果调度或者数据传输链路断了，可以紧急地切换到另一条链路，保证任务的稳定执行。
gydtep
发表于 2021-1-3 13:05:56
在大数据上云解决方案中，通过数据集成将离线和实时的数据分别通过离线引擎（EMR、MaxCompute）和实时引擎（MaxCompute交互式分析（Hologres）、Flink）去做数据处理，然后汇聚到DataWorks中做数据开发和数据服务，包括机器学习PAI平台去做模型开发等，最后开放给数据应用去使用，包括QuickBI、DataV、Tableau等。
gydtep
发表于 2021-1-3 14:09:48
基于上云解决方案，建立了多种场景化解决方案，包括智能实时数仓解决方案、实时监控大屏解决方案、数据湖解决方案，其中比较典型的智能实时数仓解决方案，适用于电商、游戏、社交等互联网行业大规模数据实时查询场景：
gydtep
发表于 2021-1-4 09:39:25
上世纪五十年代的大型机时代。在这个时代，大型机可能不到100台，基本上用在科学研究和国防等领域，当时主要是层次和网状数据库，比较典型的产品是IBM的IMS，IMS已经很少能够见到，在一些金融领域还有应用。
