媒体观点丨PingCAP :极简为极美,六年证明开源值得“信任”

网友投稿 831 2022-10-14

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。

媒体观点丨PingCAP :极简为极美,六年证明开源值得“信任”

2021 年 7 月 24 日 PingCAP 召开一年一度的技术峰会 DevCon。在今年以"开放、连接、预见"为主题的大会上,PingCAP 创始人刘奇在演讲中分享了公司在开源、企业级、国际化、以及对未来方向的思考。

上一个十年,互联网时代出现了数据量暴增、技术栈更加复杂的现象,业务层面不断涌现出各种各样发散的需求。未来十年数据的增长只会更快,呈现指数级变化。带来更大挑战。

走到 2021 ,刘奇认为数据库正在经历一场划时代的体验式变革,如果以汽车行业为类比,这个变革是从燃油车到电动车的跨越。新一代云数据库在资源扩展能力、自动伸缩、可管理、自服务等方面正在发生类似的体验式变革。

在最近十年,结合开源和云的潮流,新一代云数据库逐步走到舞台中央。2020 年开始,"开源,简化,融合"成为新的技术潮流。

“以前在中国没有成功的开源案例,大家对于这个事情总是会带着各种各样的有色眼镜抑或是内心存疑。”

“PingCAP 一路走来,遇到很多艰辛。过去六年多的创业,前四年少有人信,第五年有一部分人开始相信,到了第六年才有很多人信。”刘奇在群访中回答 TO B 新势力的提问。

“我觉得我们一路走下来有几件事特别重要,第一个创始人是真的信仰开源,才能吸引信仰开源的员工。”

“这就像埃隆·马斯克当初搞火箭一样,如果你没有信仰,这件事情 100% 搞不成。之前乔布斯说过一段话:如果你不是真的热爱一件事情,那你 100% 做不下去。因为作为一个正常的、理智的人,在遇到那么多困难之后,理智会告诉你不要去坚持了。你只有真正信仰,真正热爱,才有可能把这件事做下去。”刘奇回忆这一过程。

“早期的开源项目,有一点点公益性质,开始的时候它跟商业结合没有那么快,也没有那么紧,到后期才创造商业价值。开源商业模式的伟大之处在于,优先创造社会价值。当一个开源项目被广泛使用的时候,其实它已经创造了很多社会价值。”刘奇说道。

真正难的是把系统做简单,简单即意味着美

业界一直认为 PingCAP 是一家比较特别的公司,有一些不一样的调调,但不一定能说出这种调调具体是指什么。

“其实我也在想这是为什么。我们当时创业的时候想法很简单,就是希望做一个比较好的数据库,这个数据库可以让数据对业务的支持更简单、更方便,运维工程师也可以减轻压力,甚至可以让他们睡个好觉。”刘奇分享。

PingCAP CTO 黄东旭认为其开源产品 TiDB 在这两年里最重要的一个变化是:研发流程以一个全新的发版模型去做软件工程,被称作“火车发版”模型。这个模型的特点是把很多大的 feature 以小的迭代进行逐步增量发布,这也意味着更易于管理发布周期。

“这件事情的重要意义在于,TiDB 从一个纯粹社区的开源软件开始慢慢变成面向企业级的数据库产品。说得再接地气一点,用户真实场景里面需要的 feature 最快两个月就能合并到 TiDB 的主干,并交付使用。”

“TiDB 的真正优势在于技术开放性。架构开放就意味着能够产生更多连接,更多连接也就意味着更快的迭代速度、更多的可能性。”黄东旭认为。

真正难的事情是把系统做简单,简单意味着美。

“我们是一个不一样的公司,从技术上往深处思考我们到底和其他数据库的区别是什么?最本质的区别我觉得在于核心设计理念,当理解了 TiDB 核心设计理念后再去看 TiDB 的技术架构设计,很多具体技术问题大家自然就能够想通了,同时也能想到我们为什么会这么做。”

“我们过去从来没有做过数据库,但是我们有一个疯狂的想法——我们要做一个分布式数据库。一开始我们是去定义数据最小的流转单元,我们去定义这些细胞的分裂、合并、移动,复制,繁殖。用极简,正交,自洽的规则赋予这些细胞生命,让这些细胞成长成一个数据库,这是 TiDB 最核心的理念。单机数据库和分布式数据库的本质区别在哪里?分布式数据库在一台台机器上是可以生长的。”黄东旭对技术的哲学思考让现场很多工程师有感触。

开发者和用户的共同作品

作为全球业务规模第一的快递企业——中通,随着业务的快速发展和数据量的激增,中通原来存放在 Oracle Exadata 的数据周期越来越短, 而业务方对数据分析的需求不断上升,实时性的要求更是愈发强烈,单纯靠升级 Oracle 一体机的硬件已经完全无法从根本上解决问题,并且成本也越来越高。

在业务高峰期时单机性能遇到瓶颈,单机故障风险也非常高。最关键是分析时效只能做到 T+1,完全不能满足业务的需求。中通的技术团队也对 HBase、Kudu 这样的解决方案做了调研,但是发现这些数仓和现有技术栈难以兼容,并不能很好地支撑业务端多维度的查询,最后选择了 TiDB。

因为 TiDB 拥有一栈式 HTAP 数据库解决方案,既支持在线横向扩展,随时上下线存储和计算节点,又能够非常高效的支持数据分析的时效性,并且减容现有的大数据、技术生态,降低了技术栈的复杂性。

还有一点是 TiDB  HATA 解决方案的特点就是行存列存分开,可以完全隔离 OLTP 和 OLAP 的资源,这意味着既可以实现数据的实时分析洞察,又不会影响 TiDB 的性能。另外还可以通过 TiSpark 计算存在 TiDB 里面的数据,然后通过存到 Hive,这样支撑了中通全链路的时效分析。

现在中通可以实时地了解每一个快件在哪个环节是否出现了问题,并作实时的决策和计算。目前中通快递完成了 5.0 的升级测试,因为 HTAP 的模式,在大促监控场景中实现了 5 倍的提速,中通也正在规划将 TiDB HTAP 的实时分析能力用在未来的其他分析业务中。

刘奇提到:“我们一直认为 TiDB 不是 PingCAP 的产品,而是所有开发者、所有的用户、所有的 DBA 和所有运维工程师的共同作品。”

六年前 PingCAP 开发 TiDB 的时候,遭遇了很多质疑和诸多不认可。从创业之前为了升级扩容而睡不着觉,到后面产品终于开发出来了,兴奋地找用户,发现找不着用户,又会因为找不着用户睡不着觉。数据库的更换有点像换心脏的支架,像一个飞机发动机的更换,没有人愿意冒这样的风险。

现在,北京银行通过 TiDB 在 5 小时内实现 5 亿条数据的在线扩容;中国人寿财产险在使用 TiDB 后实现单证状态统计从 8 小时缩短到 6 分钟;TiDB 在中国银行各类场景中监控对象的数量超过 10000+,每日收集的数据条目达到了 14.5 亿条;光大银行,TiDB 支撑了每天高达  5000 万笔的交易,此外还有很多金融客户使用 TiDB 的场景。

4 月 25 日,PingCAP发布了全新的 TiDB 5.0,相比 4.0 版本在功能和性能上都很了很大的提升。自发布三个月以来,已经有大量用户使用,并且提供了很多积极的反馈。

汽车之家上线 TiDB 5.0 后,聚合场景查询较 MySQL 带来 20-50 倍的效能提升,从容应对千万级 DAU 和亿级访问量;58 同城引入 TiFlash MPP 提高海量数据实时分析计算能力,在多表关联查询中,相比 TiDB 4.0 有 90% 的性能提升;TiDB 扛住了中通快递 35 万的 QPS,另外启用 MPP 之后报表时效性从过去的 5 分钟缩短为到了 1 分钟,上面 3 个案例均为使用 TiDB 5.0 后为客户带来的非常明显的业务价值。

“我们能够坚持下来,就是因为有第一批用户勇于尝鲜,积极尝试, 当时我们还是非常稚嫩的 TiDB,没有经过太多考验的 TiDB ,缺少用户案例的 TiDB。今天大家能看到 TiDB 的迭代速度如此之快,是因为我们也听到了远方的鼓声,我们的步伐会变得更快,更坚定,这里我们说的有些人,就是我们这些坚持走开源道路的一群人。”刘奇说到。

危地马拉的教授和学生推动社区发展

危地马拉一所大学的教授和学生,现在是 PingCAP 社区非常活跃的用户。这个教授和学生在 GitHub 上面做了一个非常有意思的项目,通过构建一个分布式系统,来实时显示世界各地的新冠疫苗接种的统计信息。PingCAP 创建的混沌测试项目以这种方式参与到全人类都在关注的新冠疫情的工作之中。

PingCAP 创立的开源项目 GitHub 已经超过了 41600 个 star,有超过 1400 多位贡献者,分别来自于全世界几十个国家。

PingCAP 另外一个开源项目 TiKV 键值数据库和 Chaos Mesh® 云原生混沌测试平台先后进入到 CNCF 基金会进行孵化。TiKV 作为 TiDB 的存储引擎,同时也作为一个独立的分布式键值数据库,2020 年 9 月在 CNCF 毕业,作为一个毕业项目,TiKV 服务了京东、美团、知乎等企业。另外一个项目是 Chaos Mesh® ,去年进入到 CNCF 沙箱项目,获得包括腾讯, 微众银行,小鹏汽车,七牛云、字节跳动等用户的采用,成为云原生环境下故障演练的工具。

TiDB 横跨了 OLTP 和 OLAP,进一步形成了完整的 HTAP 能力。在大数据领域,实现了与 Spark、Flink、 Presto 等大数据技术栈的广泛融合。

在基础设施领域,PingCAP 与全球领先的云计算厂商 AWS、Google Cloud 以及 VMware 等建立了广泛的合作伙伴关系。同时也与国内众多的厂商建立了不同层面的合作,包括京东云、青云、七牛云、移动云等等。此外,PingCAP 还与 RedHat 、SUSE 等开源厂商也建立了合作关系。

国际化是第一天就坚持的战略

国际化的决心和国际化的动作是 PingCAP 从第一天就开始坚持的东西,PingCAP 的国际化的策略和整个开源的策略相伴而生。

位于新加坡的物流独角兽公司 Ninja Van 在 MySQL 上部署了 200 多个数据库架构助力微服。去年年初的时候,他们决定找一个 MySQL 堆栈的替代性解决方案,2020 年 6 月,接触到了 TiDB 4.0 GA 版,而现在他们的系统正跑在 TiDB 4.0.11 的版本上,之所以最终将目光投向 TiDB 主要因为是 MySQL 拓展的现有方案很复杂,最重要的是,TiDB 最大的好处之一是与 MySQL 协议的高度兼容,这意味着迁移到 TiDB 只需要对代码进行微小的更改。

还有其他的一些好处,例如不再需要过多地担心跨分片查询。从可靠性的角度来看,TiDB 开箱即用,并能够在零宕机的情况下对数据库进行拓展。谈到运营,TiDB 有着云原生特性,可以将其完全部署在 Kubernetes 上。

今年 5 月份,TiDB Cloud 在海外区域,正式对全球用户开放。6 月进一步增强了与 Amazon Aurora 导出的数据格式的兼容性,让数据迁移更容易,更加通畅简单。

PingCAP 国际业务负责人申砾告诉 TO B 新势力:“第一批会发布在同一个云上的不同区域,这是客户提出的要求。客户希望做 Geo 集群支撑其业务,其中也包括安全性能的提升。

今年的第四季度,TiDB Cloud 将免费对个人开发者开放。PingCAP 一直认为TiDB是为开发者研发的产品。”

“开发者生态是我们非常看中的,有多少人愿意用 TiDB,我们能帮他们解决简单的业务挑战,这是我们的价值。我们希望把 TiDB 的价值和开发者需求之间的这些拦路虎尽可能的剔除。”

“有两个东西可能阻碍开发者。第一个是产品易用性,是否够简单。TiDB Cloud 把这个‘简单’又往前推了一步,开发者不用部署了。点一下鼠标就有一个数据库可以用。第二个障碍就是钱,免费版本就是让开发者零门槛使用功能,和应用对接。“

“开发者只需申请一份免费的试用,免费的帐号,就可以使用集群。TiDB 相对独特的价值领域,是其他免费数据库所不能提供的,是用户可以体验HTAP免费的数据库服务。”

目前,PingCAP 也推出了自己的SaaS产品。“国外对 SaaS 的接受度更高 。我们先专注于在海外的云上把这个产品打磨好,同时这个期间国内对 SaaS 的接受度也会提升上来,到时候产品和市场都会准备地更加充分。”申砾回答 TO B 新势力。

上一篇:达梦公司成功入选信息技术应用创新人才标准验证试点单位
下一篇:MySQL运维总结
相关文章

 发表评论

暂时没有评论,来抢沙发吧~