2天完成17TB数据量迁移数据库是如何做的？

童年时分，我们会对着墙上挂着的我国地图，来认识一处处山川河流和城市人文。如今，数字化时代下，传统的地图已经不能满意人们的需求，怎么获取各种丰厚的迁移数据库内容和实时动态信息成为现代人遍及的地舆信息诉求。
作为国家根底地舆信息公共服务渠道，六合图集成了来自国家、省、市（县）各级测绘地舆信息部分，以及相关政府部分、企事业单位 、社会团体、公众的地舆信息公共服务资源，以门户网站、服务接口、前置服务等方式向政府、专业部分、企业、公众等用户供给在线地舆信息服务。
此前，国家根底地舆信息中心携手华为云，根据六合图渠道，共同打造云上才智地图，促进地舆信息资源同享和高效利用，让国际触手可及。
地舆数据量添加，数据库弹性迎应战
六合图覆盖全国300多个地级以及地级以上城市0.6米分辨率的卫星遥感印象等地舆信息数据，全库数据量到达17TB，数据吞吐量巨大。巨大的吞吐量和高额运维本钱，促使国家根底地舆信息中心迫切寻求低本钱、高可用、高功能、大容量的数据库产品，一起期望可以将迁移时刻压缩到2天左右。
低本钱：前期六合图运营投入较多资金，包括数据库在内的IT投入本钱居高不下。事务有读写别离诉求，期望在确保功能的前提下，经过一套实例完成读写别离，然后下降数据库本钱。
高可用：社区版MongoDB一个shard多数节点毛病，就会导致该shard成为只读，因而期望供给无状况的路由节点，完成快速毛病搬运。
高功能：六合图每天的拜访量在6亿左右，跟着数据量和事务拜访量的添加，现有体系不足以支撑日益增长的事务需求，需求更高功能的数据库来支撑日益增长的事务数据。
容量：跟着瓦片层级添加，数据量越来越大，现有MongoDB扩容难度大，需求一款数据库支撑不少于20TB的瓦片数据，支撑在线扩容。
运维效率：运维人力有限，体系运维压力越来越大，运维作业本钱越来越高，现有社区版MongoDB难以支撑运维作业需求。期望能够供给数据库自运维才能，能为数据库做技能兜底，下降运维本钱。
六合图&华为云，显示云上“数字我国”新魅力
六合图事务数据复杂，数据品种多样，结合客户诉求和事务特色，华为云数据库选用公有云对外服务为主，私有云对内测验为辅的混合云架构，供给多种数据库引擎方案，联合打造高功能、高可用的数字底座。
华为云GaussDB(for Mongo)供给在线地图的瓦片数据处理服务；华为云RDS for PostgreSQL供给矢量数据和三维数据处理服务；华为云RDS for MySQL供给用户管理和专题图层特点服务，多款数据库极速融合，共同发力，17TB的海量数据迁移只是用了2天。
高可用特性加持，事务安稳运转
六合图作为国家级的服务渠道，数据的安全可靠可谓至关重要。华为云GaussDB(for Mongo)支撑跨AZ高可用，拥有完善的跨区域容灾战略，每天主动进行全量备份和增量备份，并定时进行康复演练，验证备份康复流程的有效性，完成分钟级备份康复。一起供给无状况的路由节点，支撑秒级毛病搬运，客户事务无感知，事务运转安稳。
超高功能与大容量，再大流量也不怕
六合图为30+部委组织和全国30多个省市供给地舆信息根底渠道服务，日均API和服务调用超过6亿次，拜访压力极大。华为云GaussDB(for Mongo) 可完成分钟级节点扩容和秒级存储扩容，满意敏捷事务弹性需求，对六合图高达上亿的拜访毫无压力，响应才能快稳准，有效保证了六合图在高负载情形下事务的正常运转。并且GaussDB(for Mongo)根据存算别离架构和rocksdb优化，比较开源MongDB功能进步3倍以上，最大支撑96TB的数据处理才能，彻底满意六合图海量事务恳求。
降本增效不止一点点
GaussDB(for Mongo)彻底兼容MongoDB协议，客户事务无需任何改造，即可轻松切换数据库，极大减少了改造本钱；并且经过实时生成快照和删去快照的才能，GaussDB(for Mongo)完成一套集群即可供给读写别离的才能，数据库本钱节约至少50%。六合图上华为云之后，根据数据库服务主动化运维渠道，数据更新效率提升5倍，新事务上线速度进步2倍，还减轻了DBA繁重的运维压力，让客户更聚焦事务层面。
自2019年2月上线以来，华为云数据库已轻松支撑六合图6亿+的日均拜访量，保证事务平稳运转，完成零事故；一起为公众供给了更为全面、精准、权威、 智能、人性化的地舆信息服务，让全社会同享测绘发展效果，感受“数字我国”的独特魅力。