欢迎来到梦飞服务器

大数据技术

揭开AWS的Timestream数据库的面纱

AWS因不断推出新的云计算服务而闻名业界,不过AWS云计算服务太多了,客户往往难以了解所有的服务,AWS的数据库也不例外。

AWS至少提供15个数据库,最新的一个是Amazon Timestream,9月开始面向一般用户发布。Timestream主打 “物联网”应用,主要用于时间序列数据记录的存储和检索,时间序列指一组与时间戳相关的数据点。

Timestream与其他时间序列数据库一样用于那些产生连续数据流的应用,例如来自物联网传感器的测量数据,这些数据的格式可以快速插入和检索大量的时间序列事件,进而可支持复杂的分析——每天事实上可以有数万亿的事件,而且其速度比标准关系数据库快1000倍之多。

简单一点的时间序列数据可以是跟踪你每天走的步数,该数据还可以与一段时间内的体重联系起来,一些企业则需要做诸如跟踪和理解快速变化的数据(如股票价格、视频流或操作机器的温度)的业务,时间序列数据就是必须的。而且,物联网设备数目在不断激增,这种数据库也变得越来越重要,Timestream竞争对手,例如如开源的Prometheus、InfluxData Inc.的InfluxDB和Timescale Inc.的TimescaleDB的迅速崛起也说明了这一点。

亚马逊首席技术官Werner Vogels在上周在一篇博文中谈到Timestream背后的事情。他在接受记者采访时表示,Timestream在一定程度上表明了两点,其一,亚马逊的理念是为各种任务建立特定的云工具,而不是试图把这些都放在一个平台上,其二,它表明亚马逊公司基本架构的选择。下面是访谈对话内容(内容经过适当编辑修改):

记者:你那篇关于Timestream的博文好像有个更大的目标,而不是仅仅是为了展示它如何工作。

Werner Vogels:我试图提供一点关于Timestream数据库背后的技术背景,以及一些我们正在建立的其他系统资料。在Timestream这一块我们做了一些独特的架构决定,这些决定可能也适用于一般架构。例如,我们用了基于单元的架构,可以减少影响半径。

另外,不要孤立地优化系统。你只是测量信息传递,或只测量存储,或只测量查询,这样的想法并不能给你一个整体系统做到真正能优化你想做的事情。

记者:Timestream和背后的想法是如何融入到AWS的整体云计算方法呢?

Werner Vogels:这是我们寻求建立专用数据库的一部分。对于很多工程师来说,关系型数据库是他们用来做各种事情的锤子。他们知道如何很好地使用这个工具。但在关系型数据库里做时间序列是个非常令人头痛的问题。而且很难做到实时性。毕竟,我们看到大多数时间序列应用的实时性的作用都颇为重要。

那我们一直在进行这种探索,Jeff Bezos多年前说过的一些话真正推动了我的架构原则。我们在构建工具,而不是构建平台。旧式平台的定义就是,软件公司发布下一个版本,给了你所有的东西,告诉你应该如何开发软件。

过了一段时间我们了解到,如果你构建的小工具真的是为了一个特定的目标而设计的,你可以对其进行优化,使得其性能更好或更可靠或实际上更便宜,或确保你能提高开发人员的生产力。

记者:时间序列数据库的目的是什么呢?

Werner Vogels:时间序列就是一个随时间变化的数据点序列。如果看一看我们周围的世界,大量的例子可以纳入时间序列。在许多应用里时间是个主导因素。例如点击流分析。你可能想要一个仪表盘,能实时告诉你正在发生的事情。在这一类的应用里,时间起的作用很重要。有个专门的数据库实际上能够让你实时访问当前的、即时的内存数据。

记者:Timestream是如何工作的呢?

Werner Vogels:Timestream下面有两个不同的存储引擎。其中一个在内存里,基本上就是最新的记录。时间序列数据库里的大多数记录都是当前时间记录。这一类用例涵括了许多当前的用例。然后历史数据则在磁性存储或SSD里。你可以设置一个策略,根据这个策略确定什么东西需要从内存中迁到历史引擎里。

内存存储的目标是那些非常快的查询。基本上你可以在几毫秒内分析几十GB的数据。历史存储更多考虑的是TB级、PB级以及那些需时数秒的查询类型。对客户来说,好处是他们不必考虑这个问题。他们不必考虑什么在内存里,什么在磁盘上。这对他们来说是透明的。

大多数查询都可以及时从当前数据上完成,你想在几毫秒内得到结果。如果是个预测引擎,用来查看你的冰箱里的液态天然气故障,你不想明天再做,你想要现在就做。另外仪表盘、报警、点击流分析等等,这一类至关重要的事情也是这样。

记者:Timestream与其他时间序列数据库有什么不同呢?

腾讯云代理

梦飞科技 - 最新促销活动优惠获取

Copyright © 2003-2021 MFISP.COM. 国外vps服务器租用 香港梦飞 版权所有 粤ICP备11019662号