西伯利亚新闻与中俄新闻!

忘记密码

糗百的数据迁徙实际

2015-06-24 11:50 作者: 来源: 本站 浏览: 582 次 我要评论糗百的数据迁徙实际已关闭评论 字号:

摘要: 糗事百科(以下简称 糗百)被誉为挪动互联网时期的新娱乐手腕,其量真适用户的糗事深受爱好,天天有亿次动态要求,峰值恳求数为每秒30000次。面对如斯高的并发访问量,糗百本来自建的平台越来越难以支持,开端涌现服务器过载、跨机房同步延时大、核心磁盘i/o成为瓶颈等问...

糗事百科(以下简称 糗百)被誉为挪动互联网时期的新娱乐手腕,其量真适用户的糗事深受爱好,天天有亿次动态要求,峰值恳求数为每秒30000次。面对如斯高的并发访问量,糗百本来自建的平台越来越难以支持,开端涌现服务器过载、跨机房同步延时大、核心磁盘i/o成为瓶颈等问题。

为懂得决这些刚性的服务压力,优化用户的服务休会,并斟酌到七牛对静态资源存储的壮大技巧实力跟优良的解决方案,糗百决议将存储迁移到七牛平台上,并开端使用七牛提供的cdn服务。本文将联合糗百的数据迁移实际,来具体讲述如何在不中止服务的情况下,将海量数据平滑迁移到七牛平台的全过程。

qrsync+镜像存储打造平滑迁移方案

传统的数据迁移方案是:关掉网站本来的数据上传通道,所有数据变成只读,而后将所有数据上传到新的存储节点,再将上传进口改为新的存储节点,之后开放网站的上传功能。这样带来的问题是,数据迁移进程中,用户长时光不能进行上传操作,用户休会十分差。如何解决这个问题呢

针对糗百这么大体量的利用,七牛提供的数据迁移计划上传工具qrsync+镜像存储,很好地绕开了传统迁移计划所带来的问题。糗百先通过七牛的数据上传工具qrsync将大批冷数据传到七牛平台上,并将数据拜访地址切换成七牛的域名。因为用户天生的大批热数据还在糗百本人的平台上,为了不呈现数据丧失的情形,保障用户拜访的流利性,糗百选用了七牛的镜像存储服务,云平台

七牛的镜像存储为全部数据迁移过程提供良好的过渡支撑作用。当用户访问的数据不在七牛平台上时,镜像存储服务将回糗百源站抓取数据,并保留在七牛平台上。故此,镜像存储对每个资源只要回源一次,后续访问的时候就不再回源了。
随后,为了进一步缓解糗百源站的i/o压力,糗百对旧有系统做了一次本进级,将新系统的存储直接放在七牛平台上,社交营销。新本的用户能够顺畅地将数据上传到七牛平台上,并实现访问,而旧系统的app本还会有一部门用户在应用。这时,就要在一段时光内保障两套系统可用。但旧体系的app用户所发生的数据仍是会被上传到糗百的自建平台中,在用户第一次访问这些数据时,镜像存储服务对糗百源站做回源,很好地确保了这局部数据的可用性。因为目前app客户真个本更新速度比拟快,因而在所有用户都更新成新体系,源站的回源流量逐步趋于0时,就能够将镜像功效删除了。

就这样,在用户毫无感知的情形下,糗百轻松实现了对存储的迁移,安稳地解决了片中央磁盘i/o的瓶颈问题。

镜像存储的应用方式

假设源站所有的,放在一个叫img.example的子域里。那么平滑迁移的方法是:

在七牛上树立一个镜像bucket,设定源站为img.example。假设镜像bucket是example-img,到空间设置的域名设置中即可找到情势为7xiuqc.z0.glb.clouddn的七牛域名

将所有对外使用的的域名改为7xiuqc.z0.glb,客户管理. clouddn

假如网站数据是ugc(用户发生内容)的,调剂上传流程,传到七牛的镜像 bucket,这样源站就变成只读

使用qrsync同步工具将历史数据全体同步到七牛的镜像bucket。

如斯就实现了全部迁移过程。此时img.example这个源站就可以放弃不必了,客户管理系统

结语

信任数据资源高速增加这样的 甜美累赘;是良多企业都会碰到的。而如何借助云服务来公道扩容,如何在不中止服务的条件下,平滑地实现数据迁徙,将成为决议企业将来运气的要害一环。七牛云存储不仅能为企业用户稳固高效的底层存储平台,镜像存储等优质的服务更能在数据迁移进程中供给强盛的助力,客户关系管理系统。此外,实现数据迁徙之后,七牛供给的丰盛的、音视频处置功效也为包含糗百在内的诸多企业带来了很大的惊喜。后续咱们将专门撰文分享这局部内容。

  ☞评论暂时关闭,有事请直接联系本站客服,谢谢!