大数据架构基础信息
发布时间：2021-06-04 16:25:53 所属栏目：大数据 来源：互联网
导读：介绍 在使用数据获取业务价值的公司中，尽管您可能不会一直以数据科学技能为荣，但始终可以很好地管理数据基础架构。 每个人都希望将数据存储在可访问的位置，妥善清理并定期更新。 在这些低调但稳定的需求的支持下，数据架构师的薪水与数据科学家的薪资同样
|
介绍
在使用数据获取业务价值的公司中，尽管您可能不会一直以数据科学技能为荣，但始终可以很好地管理数据基础架构。 每个人都希望将数据存储在可访问的位置，妥善清理并定期更新。
在这些低调但稳定的需求的支持下，数据架构师的薪水与数据科学家的薪资同样高，甚至更高。 实际上，根据PayScale进行的薪酬研究(https://www.payscale.com/research/US/Country=United_States/Salary)，美国数据架构师的平均工资为121,816美元，而数据科学家的平均工资为96,089美元 。
并不是说所有数据科学家都应该换工作，至少了解数据架构的基础知识对我们会有很多好处。 实际上，有一个简单(但有意义)的框架可以帮助您了解各种现实世界的数据体系结构。
目录
数据架构中的三个组件：Data Lake-> Data Warehouse-> Data Mart
每个组件中使用的工具
案例研究—构建从BigQuery(数据仓库)到Google Sheets(数据集市)的计划和自动数据馈送
尾注
数据架构中的三个组件：Data Lake-> Data Warehouse-> Data Mart
"数据湖"，"数据仓库"和"数据集市"是数据平台体系结构中的典型组件。 按照此顺序，将处理业务中产生的数据并将其设置为创建另一个数据含义。
大数据架构基础知识
> Diagram the author crafted using materials from Irasuto-ya (https://www.irasutoya.com/)
三个组件负责三种不同的功能，例如：
Data Lake：拥有业务中产生的数据的原始副本。 如果有的话，原始数据的处理应该最少。 否则，如果最终发现某些数据处理错误，将无法追溯修复该错误。
数据仓库：保存由托管数据模型处理和结构化的数据，反映最终使用数据的全局(非特定)方向。 在许多情况下，数据采用表格格式。
数据集市：保存一个子部分和/或汇总的数据集，以使用特定的业务功能，例如 特定业务部门或特定地理区域。 一个典型的例子是，当我们准备针对特定业务线的KPI摘要时，然后在BI工具中进行可视化。 特别是，当用户希望定期并频繁地更新数据集市时，在仓库之后准备这种独立的组件是值得的。 相反，如果用户只希望某些数据组进行一次即席分析，则可以跳过此部分。
 （编辑：伊春站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
