大数据编排结构
发布时间：2021-06-04 16:08:13 所属栏目：大数据 来源：互联网
导读：大数据是复杂的，我已经写了很多关于广阔的生态系统和广泛的可用选项的文章。 通常被忽略但很关键的一个方面是管理大数据管道的不同步骤的执行。 框架的决定或执行过程的设计经常会推迟到稍后的阶段，从而导致许多问题并延误项目。 您应该尽早设计管道编排，
|
大数据是复杂的，我已经写了很多关于广阔的生态系统和广泛的可用选项的文章。 通常被忽略但很关键的一个方面是管理大数据管道的不同步骤的执行。 框架的决定或执行过程的设计经常会推迟到稍后的阶段，从而导致许多问题并延误项目。
您应该尽早设计管道编排，以避免在部署阶段出现问题。 编排应像其他可交付成果一样对待; 所有利益相关者都应该对其进行计划，实施，测试和审查。
编排框架通常被忽略，许多公司最终为其管道实施定制解决方案。 这不仅成本高昂，而且效率低下，因为自定义业务流程解决方案往往会面临现成框架已经解决的相同问题。 造成漫长的反复试验。
在本文中，我将介绍一些最常见的开源业务流程框架。
管道编排
数据管道编排是一个交叉过程，可管理管道任务之间的依赖关系，调度作业等。 如果使用流处理，则需要编排每个流应用程序的依赖关系，而对于批处理，则需要安排和编排作业。
请记住，任务和应用程序可能会失败，因此您需要一种以统一的方式调度，重新调度，重放，监视，重试和调试整个数据管道的方法。
业务流程框架提供的一些功能是：
作业调度
依赖管理
错误管理和重试
工作参数化
SLA跟踪，警报和通知
具有仪表板的用户界面，例如甘特图和图形
历史和审计
元数据的数据存储
日志汇总
让我们回顾一下一些选项…
 （编辑：伊春站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
