大数据资讯

对很多组织来说,如何首次成功地构建云数据仓库是一个难题,因此需要了解一些知识和技巧。

如何首次构建云数据仓库

来源:香港服务器 作者:服务器托管 浏览量:121 更新:2020-02-17

对很多组织来说,如何首次成功地构建数据仓库是一个难题,因此需要了解一些知识和技巧。

那么组织应该如何进入这个未知领域?第一次构建和使用云数据仓库听起来可能让人望而生畏,但对于希望将其数据更好地分类的组织来说,云数据仓库是一个可行的选择,而且云平台通常允许灵活性和可扩展性。

数据虚拟化提供商Denodo公司最近进行的一项研究发现,56%的组织在云平台中部署了数据仓库技术,并经常发现可以获得很多好处,其中包括有效的工作负载管理和供应商锁定功能。

但是,初次尝试使用这种技术的组织可能想知道从哪里开始,并且如果失误将在时间和费用方面的代价很高。那么,组织应该怎么做才能很大程度地降低风险,并确保获得回报?

1.提高劳动力技能

需要努力解决的一个问题是确保组织的员工技能已为过渡做好准备。

数据仓库技术的一个主要方面是它提供了大量的数据,并且在监控客户行为方面非常有益,但是如果组织的员工没有足够的技能来知道如何正确地利用它,就无法发挥它的潜力。

SolarWinds公司首席技术官Thomas LaRock说,“在全球范围内建立数据仓库,具有低延迟和巨大的计算能力,亚洲服务器,已经不再是标准业务无法企及的。在以往花费数百万美元才能实现的工作,如今只需几百美元和一些PowerShell脚本就可以完成。

组织可以轻松利用Microsoft Azure和AWS之类的云计算提供商来为其数据分析需求分配硬件资源。但是,处理大数据需要认真的技能提升,这是毫无疑问的。但是这些新技能将拓宽组织IT专业人员的视野。对数据处理需要有着充分的了解,再加上传统的网络工程,最终将促进IT专业人员的职业发展,因此应被视为一项必要的投资。”

2.建立充分的数据治理

LaRock继续强调说,必须确保以不会产生无用的重复数据或孤立数据的方式管理组织数据的重要性。

他说:“在实现数据仓库时,最常见的陷阱是管理、收集和聚合同一数据的多个副本。企业通常有很多数据仓库,如果它们构成数据仓库的一部分,就会产生冗余。如果要开始构建云数据仓库,则必须考虑建立适当的数据治理策略。有了这样的策略,就可以在实施数据仓库之前确定孤岛。”

3.从小处开始

组织在首次尝试建立云数据仓库时,最好是通过降低期望来最大程度地减少发生错误时的风险。

SnapLogic公司的首席技术官Craig Stewart说:“这将是一个从小事做起的过程,在一个小项目中获得一些经验和价值,然后从中学习。从第一个项目中获得经验,然后就可以逐步获得更多价值。

关于云计算的伟大之处在于,组织可以增加从RedShift和Azure Synapse之类获得的弹性,这确实使组织能够做到这一点。而从小事开始就意味着,如果组织尝试的项目遭遇失败,可以从中学到经验和教训,然后继续进行下一步,而不必付出巨大的成本,无论是资金来源,还是人力成本。

使用自助服务方式的非代码类型工具。这种结合意味着组织可以寻求快速获得价值,学习所做的并没有给组织带来价值,然后也可以快速发展,而不会遇到代价非常昂贵的失败,而失败本身就是一个获得价值的学习过程。”

4.规划新的架构是关键

除了从小处做起,组织还必须通过仔细规划其云数据仓库架构来保持耐心,这一点至关重要。

WhereScape公司副总裁兼欧洲、中东和非洲地区总经理Rob Mellor说:“组织需要注意在研究过程中会听到的一些误导。组织不仅可以将所有数据都放入云平台中,而且无需进行任何设计或架构即可开始对其进行分析。分析环境是经过计划和架构的,因此所有用户都可以理解和使用它。

组织也无需将所有数据仓库迁移到云端,而无需重新设计。组织原有的数据仓库在清理过程中会遇到很多麻烦。

但这是组织清除低效流程,浪费未使用资产(例如原有报表、可视化和分析已不再使用)空间的好时机。这也是使许多流程自动化以提高其效率的绝好机会。”

6.利用现有模型

第一次将数据仓库迁移到云中的决定可能不需要完全的新工作,并且可能需要从需要改进的现有体系结构中吸取教训。

除了其他好处外,这还可以帮助组织满足上述对足够数据治理的需求。

Exasol公司市场情报经理Helena Schwenk表示:“应将迁移视为合理化和修改现有本地数据仓库的机会。组织需要确定可以修改、扩充或添加哪些数据资产和源,并采用渐进式迁移策略,以实现具有凝聚力的云数据仓库平台,包括适当的治理和监督。”

7.确保可能的演变

部分文章来源与网络,若有侵权请联系站长删除!