发布时间：2022-10-09 00:00   您所在的位置： 网站首页 > 新闻资讯 > 建站智库

采集时序数据的另一个好处，便是可以通过编程使你的应用生成测量数据，从而可以建立保险、精密的反馈循环，这方面有好多有用的例子。

在云计算中，启用新的实例只必须要给提供者发一条简单的API调用就可以，但要想知道什么时候应该启动越来越多的实例或撤销正在运行的实例，就会很麻烦。假如基于采集的资源使用情况来判断启用撤销的话，就会简单得多，这是测量数据用做反馈机制的一种通例。

我在Flickr，有一个大型项目，使用了这种反馈机制，事实证明，特别有用。



2007年，Yahoo!确定关掉Yahoo!!Photos计划很简单:通知Yahoo!Photos的顾客，这样的服务将被关闭，顾客可以自个选择，将自个的照片连同元数据一起转移到其他的服务，包含非Yahoo!!的服务，像Shutterfly和KodakGallery，Flickr也是选项之一。

为这样的项目做出容量评估将是一件苦差事。尽管有一部分测量数器据，用上载频度、片大小及其他要素指述了Yahoo!Photos的典型顾客，但有多少顾客会选择Flickr，即使选择了Flickr，顾客的使用模式又会如何改变，咋们心里仍然没底。咋们谈论的是一项已经超过10年的照片存储服务，将会有巨量的数括，而且这么大的空同会在很短的時间内消耗掉。不必讲得太精确，我告知你，2009年后期，Fick每天用掉大约12TB的存储客量。从Yahoo!Photos到Flickr的迁移，在2007年持续了一段不长的時间，每天消耗的存空间是这样的数的两倍还多。

在在备迁移的过程中，基于对迁移的评估以及现有的Yahoo!Photos数器，咋们对存需求做了最好的估计，并给出了一个宽松的保险系统，确保迁移结束以前，不可能出现存空间不够的情况。咋们能想到的每件事情，都有测量数据:

● 迁移的账户

● 迁移的照片

● 处置的照片

● 迁移队列大小

● 磁盘空间消耗量

对选择迁移到Flickr的顾客，开始迁移过程，并开展观察

我直接联到有意思的部分来说吧:即使微了如此谨慎的估计，咋们还是错了，错大了。虽然做了研究，对存猪容量做了精心的评估，想迁近移到Fick来的人还是超出了咋们的预期。要把想迁移到Flickr来的人的Yhoo!Photos数据都近移过来的话，咋们部看的存猪空间都会用完。要么增加存猪，要么Flickr停止上载片。

調天地，由于测量数据可以追踪磁を请耗，咋们很快意识到了这点，但却受限于采购時间表。重要的是尽快购买、安装、配置、部署越来越多存造，以免用完现有存。部著越来越多空间与迁移进程之间展开了一场竞赛，

为清楚释咋们是如何通过测量数据反转危为安的，要先介绍一下迁移过程是如何开展的:

1.告知顾客，将关闭Yahoo!Photos服务，顾客可以从列表中选择迁移到哪里。假如选择Flickr的话，该顾客账号就进人迁移队列。

2.一旦顾客的迁移任务进入队列，则则锁定该顾客的Yahoo!Photos账号，防止顾客开展修改。现在Yahoo!Photos和Flickr之间开展API对API的通信，以获取要迁移的照片数据。

3.Flickr获取并处置Yahoo!Photos账号的照片及其元数据。

4.将Yahoo!Photos账号写人Flickr存储和数据库。

迁移完成后，开放Flickr这边的账号，通知顾客可以使用迁移过来的Flickr新账号了。单个顾客的迁移并不必须要很长時间，但顾客量非常大，故此还是花了不少時间。迁移过程几乎便是一个大规模的异步过程，每个异步过程包含创建Flickr新账号和批量上载照片。

由于知道迁移要消耗多少存储、有机”(非迁移)增长要消耗多少存储，即使估计不足的话，也可以预测出还可以支持的天数。咋们下了一个庞大的订单，来购买存储，并开始计时。确认了发货和安装日期，这样子咋们就知道这些存储什么时候可以在数据中心上架以及必须要多久才能投入使用。

由于使用Ganglia采集数据，3行脚本代码就可以计算出存储的消耗率，然后将这样的数字传给负责迁移的API进程。照片是存储在分布于美国各地的若干个数据中心的，要确保API进程可以远程获得这样的值，并检查正在迁移数据的所有数据中心。咋们修改了API的处置过程，以便观察存储消耗的速率。假如在过去的一小时存储的消耗率大于维持到新存储上线那天的消耗率，则降低对排队等待迁移的账号的处置速度，反之，则加快处置速度。前面列出的流程中，咋们在流程2和流程3之间插入了一个检查当前存储消耗率的流程。

由于咋们会依据存储的消耗率调整迁移的速度，进入队列的账号可能会等待更长的時间。减慢处置过程也是一个不得已的折中，既要确保迁移的顺利开展，又要不决定Flickr的当前工作。

最终，迁移顺利完成，没有发生存储空间用光的情况。事后看来，咋们的估计是有偏差的，但并没有当初想的那么大。迁移开始时的高峰使咋们担心存储会用光，故此马上部署了越来越多的存储。但伴随着渐渐接近原来的存储极限，进入迁移队列的顾客也慢慢减少了

这样的故事表明，将分布在全国多个地点的网站开发测量数据采集系统纳入反馈循环，可以将PB级照片数据从Yahoo!Photos保险地迁移到Flickr，同日时基本不决定二者的正常使用。

本文章由新概念互动原创，如没特殊注明，转载请注明来自：http://www.jianzhan0.com/zhiku/76736.html

上一篇：怎么给测量数据加入报警机制？

下一篇：网站运维怎么从学徒到师傅？