淘宝成立于哪一年哪一天「最新讲解淘宝优惠最大的节日」

小伙伴们大家好,今天许立勇讲的文章是淘宝成立于哪一年哪一天,讲解淘宝优惠最大的节日,以及淘宝成立于哪一年等等相关的各种干货,希望你们能通过这篇文章很好的掌握其中的技巧,下面我就来为大家全部一一解析!

面对性能和成本的双重压力,阿里数据库内核团队如何应对?

01

淘宝交易订单系统介绍

天猫和淘宝每天发生的实物和虚拟商品的交易达到亿级别。一次成功交易的整个链路会涉及到会员信息验证,商品库信息查询,订单创建,库存扣减,优惠扣减,订单支付,物流信息更新,确认支付等。

链路中的每一环都涉及到数据库中记录的创建和状态的更新,一次成功的交易可能对应到后台信息系统上数百次数据库事务操作,支撑交易系统的整个数据库集群则会承担每日高达数百亿的事务读写。这除了给数据库系统带来巨大的性能挑战之外,每日递增的海量数据也带来巨大的存储成本压力。

交易订单作为其中最为关键的信息,由于可能涉及交易纠纷处理,需要随时提供用户查询,必须永久的记录在数据库中。淘宝成立至今近17年,所有与订单相关的数据库记录总量达到了万亿级别,其所占用的磁盘空间也早已超过PB级。

在一个这样大体量的数据集上,需要能够满足用户随时查询的低延时需求,同时需要达到极低的存储成本,在技术上是一个非常大的挑战。

淘宝成立于哪一年哪一天,讲解淘宝优惠最大的节日,淘宝成立于哪一年

用户的历史订单记录数据量巨大且不能丢失

02

淘宝交易订单库的架构演进历史

淘宝从2003年成立至今近17年的时间,随着流量不断上涨,交易订单数据库的架构也经历过数次演进。

淘宝成立于哪一年哪一天,讲解淘宝优惠最大的节日,淘宝成立于哪一年

第一阶段,开始由于流量较小,使用了一套Oracle数据存储了所有的订单信息,新订单创建和历史订单查询都在同一套数据库进行。

第二阶段,由于历史订单量数据量越来越大,单一一套库已经不能满足同时满足性能和容量的问题,于是对交易订单库进行了拆分,单独建立了一个Oracle历史库,将三个月以前的订单迁移进历史库,同时由于数据量巨大,查询性能不能满足需求,因此当时的历史订单不提供查询功能。用户只能查询三个月之内的订单信息。

第三个阶段,为了解决扩展性和存储成本问题,交易历史库整体迁移到了HBase方案,这套方案在当时很好了解决了存储成本和业务查询需求这2个诉求。整体方案是使用主表结合索引表,查询订单详细信息通过主表完成,通过买家或者卖家ID查询订单,则需要借助索引表先得到订单号。

但这个方案遗留一个问题:订单并不是严格按照90天进行迁移的,有很多类型的订单并不迁移到历史库,导致已买到–订单列表的排序是乱序的,已买到的订单列表不是严格按照时间由近到远排序的,用户如果按照订单列表一页一页往下翻,会发现自己最近的订单”突然丢了”(实际上没有丢的,只是乱序了,再往后翻就有了)。

第四个阶段,历史库采用基于X-Engine引擎的PolarDB-X集群,在满足存储成本的同事,提供与在线库一样的索引能力,解决乱序问题。

03

淘宝交易订单库的业务痛点

回顾淘宝交易库的演进历史,自拆分出独立的交易历史库之后,在持续十年时间里,业务团队和数据库团队一直在应对几个核心的挑战:

存储成本,每日写入量巨大且数据永不删除,必须要保证极低的成本。

节省存储成本的前提下,保证丰富的查询特性,例如按时间维度排序等。因此底层数据库需要支持二级索引,且二级索引需要保证一致性和性能。

保证较低的查询延时,不影响用户使用体验。虽然90天前的历史订单的查询量比90天内要少很多,但这依然是直接面对用户的,需要保证长尾延时在一定限度内。

在2018年,因为数据库存储的原因导致的订单排序错乱的问题,受到越来越多的投诉,给用户带来非常大的困扰,业务上决定根治这个问题。从前面的分析总结看,理想中的交易历史库方案需要同时满足三个条件: 低成本,低延时,特性丰富。使用和在线库一样的InnoDB引擎则满足不了存储成本的要求,而使用HBase则满足不了一致性二级索引等要求。

04

基于X-Engine引擎的历史库方案

2018年,阿里自研的X-Engine引擎逐步在集团内部落地,其针对阿里巴巴交易业务的流水型特征设计了原生的冷热分离的架构,X-Engine引擎中的冷数据记录在数据页中紧凑排列并默认对所有数据块进行压缩,这套架构兼顾了性能和成本,很快在内部非常多的业务中落地,例如:X-Engine如何支撑钉钉数据量激增。

在考察交易历史库的方案时,一个思路是合并在线库和历史库,依赖X-Engine自身的冷热分离能力, 实现对90天内交易订单的高性能访问和90天以前交易订单记录的低成本存储。同时一套统一的交易订单库,可以提供诸如二级索引等功能,用户订单不能按时间排序的问题也随之解决,业务层的代码将非常简单。

但交易订单系统在在线库/历史库分离的架构下迭代了十年的时间,很多业务系统的代码对这套分离架构做了兼容,考虑到对业务代码改造以及迁移的风险,我们在初期继承了之前在线和历史分离的架构。只是将原有的HBase集群替换成了PolarDB-X集群(基于X-Engine引擎的版本):

在线库依然沿用之前的MySQL InnoDB集群,但是只保存90天的数据量,90天之前的订单会被删除,数据量少,可以保证较高的缓存命中率,确保读写延时。

通过数据同步将在线库中超过90天的订单迁移到历史库中,迁移之后该部分订单从在线库删除。

历史库切换为X-Engine,保存全量的交易订单数据,90之前的订单读写,直接操作历史库, 同时历史库承接在线库的所有迁移写入负载。

(点击查看大图)

淘宝成立于哪一年哪一天,讲解淘宝优惠最大的节日,淘宝成立于哪一年

这套架构上线之后,交易历史库的存储成本相比较于使用HBase没有上升,同时由于历史库和在线库能力相同,可以创建完全一样的索引,历史订单恢复了对订单按时间排序功能的支持,同时其读取延时也得到了保证。

05

数据库架构参考

在淘宝交易历史库的方案中,考虑到业务层面历史代码架构的延续性,采用了InnoDB引擎在线库和X-Engine历史库分离的方案。在这套架构中,X-Engine历史库其实同时承担了在线库迁移过来的写入以及90天以前记录的读写流量。

实际上,考虑到淘宝交易订单记录流水型的访问特征(最近写入的记录会被大量访问,随着时间推移,记录访问频次急剧衰减),X-Engine引擎内部的冷热分离机制就能很好的处理这种流水型业务,所以单一X-Engine数据库集群完全解决需求。

对于新开业务或者有大量流水型记录存储需求的现有业务且业务层面还未做冷热分离,我们建议直接使用一套X-Engine引擎,在存储成本降低的同时,DB层的访问代码会更简单。基于X-Engine引擎的PolarDB-X分布式数据库可以同时解决scale out问题和成本问题。

目前X-Engine引擎已经上线阿里云, 经过阿里内部业务验证,欢迎有成本和性能需求的用户购买使用。

好了,今天就给大家分享到这里了,希望对朋友能起到一定的帮助,淘宝成立于哪一年哪一天「最新讲解淘宝优惠最大的节日」这篇文章让你学习到一些知识的话,那就帮忙分享给你朋友吧!

本文发布者:百事通,不代表巢座耶立场,转载请注明出处:https://www.chaozuoye.com/p/4410.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jubao226688#126.com 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年1月9日 08:44
下一篇 2023年1月10日 08:35

相关推荐

  • 零资金创业项目有哪些 秒懂:7个小本创业项目推荐

    小伙伴们大家好,今天郑一璇抽了个时间整理了一些关于零资金创业项目有哪些,7个小本创业项目推荐,以及其他关于创业项目有哪些的一些相关干货,思路很重要,希望我整理分享的这篇文章对你能有一定的帮助! 对于初次创业者来说,由于缺乏经验,在创业的时候经常会遇到很多难题。 但是,首先要做的就是找到一个适合自己的创业项目,低成本高利润的致富项目是新手创业的首选。 今天,郑…

    2023年9月30日 百科
  • 国内物流费用怎么计算「必看:托运物流收费标准」

    大家好,今天陈昱希给大家讲解下关于国内物流费用怎么计算,托运物流收费标准的事情,还有关于物流费用怎么计算的一些干货,认认真真阅读完,若能把我想表达的全部理解,相信你已经离大牛不远了哈! 对企业现行成本核算资料进行解剖分析,从中抽出物流耗费部分,然后按照物流管理的要求对上述费用按不同的物流成本核算对象进行重新归类、分配、汇总,加工成物流管理所需的成本信息。 由…

    百科 2023年4月19日
  • 义乌小商品市场地址在哪里 详细讲解:义乌最便宜的小商品批发市场推荐

    HI,小伙伴们你们好,今天韩路莎比较忙,抽个时间来说下关于义乌小商品市场地址在哪里,义乌最便宜的小商品批发市场推荐,还有关于义乌小商品市场地址这些的内容,希望你认真看完这篇文章后,能充分理解我想表达的意思。相信你很快就能掌握!你离大牛越来越近了! 义乌是全球最大的小商品集散中心,被联合国、世界银行等国际权威机构确定为世界第一大市场。大部分的日用商品都可以在这…

    2023年10月7日 百科
  • 商标怎么注册流程「详细讲解:申请品牌注册商标」

    小伙伴们大家好,今天朱庆庆抽了个时间整理了一些关于商标怎么注册流程,申请品牌注册商标,还有商标怎么注册相关的各种内容,想要做好首先一定要把基本功练好了,否者是很难持续提升的。 商标注册的分类 1.按照注册商标所使用的对象来分,分为商品商标和服务商标。 企业、个体工商户或者其他组织机构在经济活动中,对其商品或者服务需要取得商标专用权的,应当向商标局申请商标注册…

    2023年5月1日 百科
  • 微粒贷是什么时候开始的「必看:微信贷款申请开通流程」

    哈喽,小伙伴们大家好,今天王紫翰说的这篇文章微粒贷是什么时候开始的,微信贷款申请开通流程,还有微粒贷是什么等各种干货文章,希望各位能认真阅读。因为,只有这样才能真正理解和掌握! 这些信贷产品的安全性就是用户最先考虑的,而作为银行产品的微粒贷是我比较常用的一款产品,推荐给大家。微粒贷 微粒贷是纯线上操作,审批时间平均2.4秒,最快40秒就能到账,非常的快捷、方…

    2023年4月23日
  • 淘口令怎么生成 新手必看:淘口令创建步骤

    小伙伴们你们好,孙嘉铭很高兴又和各位见面了,今天主要来讲讲淘口令怎么生成,淘口令创建步骤,还有关于淘口令这些的精品干货文章,先说明一下,老司机直接飘过吧,主要是讲解给新手朋友们的哈! 很多做淘宝客的朋友经常会问我怎么在手机淘宝上访问自己的淘宝客网站,今天在这里给大家写一下教程,可能很多人已经知道怎么做了吧! 一:首先找个可以把自己的淘宝客网站域名变成二维码的…

    2024年2月17日 百科