14亿人的大项目，如何跑在腾讯云数据库TDSQL的“双引擎”上
上海腾讯云代理商时鱼科技是腾讯云合作伙伴，买腾讯云服务器找腾讯云上海代理时鱼科技，上海腾讯云服务器代理服务商。上海腾讯云服务器新买、升级、腾讯云续费优惠。5月11日,第七次全国人口普查结果公布。
国家统计局总统计师曾玉平在发布会直播中表示:“普查数据质量是普查统计工作的生命线……利用信息化,对普查方式进行创新:首次全面采用电子化,实时及时上报数据;首次实现普查对象通过互联网自主填报;首次利用行政大数据进行比对核查;首次实现利用互联网云计算云服务实时处理工作;首次用信息化系统对700多万普查员进行线上管理。”
腾讯云在背后为第七次全国人口普查保驾护航。据统计,在该项目中,腾讯云数据库支持了十亿级用户数据、七百万个终端和百万级峰值TPS(每秒事务处理量)。
高并发、高复杂度实时统计和分析查询的要求
在这个过程中,700万普查员使用微信小程序进行数据采集,约一亿人使用微信自主填报小程序进行信息录入,海量数据全部实时入库;与此同时,为了便于假如数据采集出现问题能够在第二天及时补充采集、修正,系统同时需要快速完成对入库数据的实时查询分析。
“大量的数据要收集上来,同时数据的更新和数据的查询是互相交错的,不仅要应对动态的人口流动,比如一个人今天在深圳而明天在北京,同时要准确对应起人和户、人和人之间的关系。”据介绍,使用电子化方式开展全国人口普查工作,涉及范围广、统计维度多、技术难度大。
团队专家决定再在小程序和TDSQL之间加上腾讯云Redis,将其作为缓存承接所有终端涌入的数据,然后把数据落入TDSQL中。有了这么一道缓存墙,业务运行中既能从容应对暴涨的流量,也能防止小程序突然崩溃,给这次普查上了一道“双保险”。
这背后也意味着,对背后的数据库技术在并发性、可靠性、一致性、扩展性、稳定性,以及复杂查询分析能力提出极高的要求。如何在十几亿中国人的数据在15天内涌入时保证用户体验和服务可持续性?如何缩短登记时间同时保证数据安全?如何在动态人口流动中准确登记、高效完成多个超大表关联实时分析?……
腾讯云数据库TDSQL解决之道 为亿级数据装上“双引擎”
700多万B端混合负载业务、十几亿C端OLTP业务、海量的数据分析任务……本次全国人口普查项目,腾讯云数据库提供了“OLTP+OLAP”双引擎融合的企业级分布式数据库管理系统TDSQL,平稳、高效支撑第七次全国人口普查工作完成。
OLTP能力专门用来完成前端生产系统的事务处理,其最大的优点是即时地处理输入的数据,并及时响应,实时保持系统数据处于最新状态;后者则负责后期数据联机查询分析处理,支持复杂的分析操作。
双引擎的融合,完整、平稳、高效地支撑了全国人口普查数据登记及统计分析整个体系化工作。
其中,TDSQL OLTP引擎提供了支撑大并发的性能,包括线程池、无锁优化等等,支撑3万+的数据库连接;强同步技术在跨可用区的情况下,满足高吞吐量、主备数据一致性和高可用的能力;弹性的容量伸缩,可根据实际运营情况进行容量水平扩展。此外,智能运营系统“扁鹊”,则可针对性能较低的SQL给出优化建议,同时自动评估业务的事务模型,降低锁冲突,提升并发能力。
测试中,TDSQL数据库应对高并发场景时可以实现数百万每秒的吞吐量,这样的吞吐规模已经可以满足目前中国人口2倍的数量。借此实力,实际统计中TDSQL数据库自然扛住了普查过程中的并发高峰。
同时,业务具有大规模实时查询分析的需求,普查员在前端不断录用的数据也将在TDSQL OLAP能力引擎中进行进一步的数据分析。在分析型功能特性方面,TDSQL OLAP引擎通过对多表join查询、复杂子查询、聚合运算、DN数据高效重分布表现上进行了极大的优化,大大地缩短了业务报表分析时间。据介绍,TDSQL支持目前市面上几乎全部标准的OLAP复杂查询计算模型,包括TPCDS等,各类复杂查询业务需求。
同时,在此过程中,OLAP分析计算开销大、延迟长,同时还要满足海量的并发请求,TDSQL OLAP引擎通过水平扩展多个只读平面,为复杂查询分析场景提供线性读扩展能力,并通过在多个平面前置负载均衡做到扩缩容业务完全无感知。
据了解,在这些庞大的数据中,不乏多张超级大表关联高并发统计查询,其每张表中存放了超过20亿+条记录。如果把其中存放一张超级表的空间用来存放平均50万字的书籍,可以放下超过1000万本,一个人终其一生也读不完。
更重要的是,基于全局一致性技术,可实时保障多平面下内部的全局读一致性。
保障系统可用可靠 企业级安全特性加持护航
规模浩瀚的人口普查工作,系统业务架构复杂、并发度高,在灾备设计、高可用能力保障上,整个数据库采用了一主三从、强同步复制和**灾备的备份方案,在某个数据节点出现故障时,都能保证数据的完整和一致;哪怕出现大规模的突发情况,通过**灾备,也能够进行数据恢复。
TDSQL的安全性经过了腾讯各类核心业务10余年大规模产品的验证,包括社交、电商、支付、音视频等不同类型的产品。在灾备方面,TDSQL提供完善的数据备份、容灾、一键升级、快速恢复,以及数据库防火墙、透明加密等功能,同时建立起完善的监控和报警体系,大部分故障都通过自动化程序处理恢复。在整个过程中,TDSQL从早期就磨炼下来的企业级安全特性能力,持续为人口普查工作保驾护航。
此外,为了让整个普查过程能够更加容易感知,腾讯云图将普查收集到的海量数据进行处理,通过数字大屏和饼状图等工具实时清晰地展示人口报送情况,并对各省报送情况进行动画效果展示,使得普查小组能够更加直观地了解整体情况和各地普查进度,根据大屏信息安排进一步的工作,提高工作效率。和其他产品协同,完成了数据“上传——入库——分析——展示”的最后一公里。
全国人口普查的电子化推进,TDSQL“OLTP+OLAP”双引擎融合一起承接了百万级TPS峰值,另外OLAP引擎还额外支撑千万级峰值的统计查询服务,助力第七次全国人口普查工作顺利完成。同时,据新华网统计报道,与2010年全国第六次人口普查的纸表入户登记方式相比,电子采集的方式将登记时间缩小到了20分钟以内,也很大程度上降低了后期数据录入、处理的难度。
可以说,这标志着,社会生活的方方面面都已逐步迈入信息化智能化的云时代,我国自研的信息化技术可常态化满足社会大规模信息化应用需求,且能够满足政府金融等行业领域的数字需求,在任务量巨大的极端情况下安全可靠。
老牌腾讯云代理商，时鱼科技专注做腾讯云代理，服务多家上市企业及万家中小企业，经过专业认证的技术团队提供免费技术咨询服务。
我们支持腾讯云服务器，云数据库，大禹高防，对象存储，视频直播，点播，CDN，企业邮箱等全部腾讯云产品。
通过上海腾讯云代理时鱼科技购买腾讯云产品，不管是腾讯云新购还是腾讯云续费都有优惠活动，而且经常还有官方代金券活动。
详细访问：http://www.2txy.com/news/problem/896.html 带进活动~~
页:
[1]