腾讯大年夜手笔开源全体容器平台20 年技能积累首公开_腾讯_开源
大手笔开源:容器平台 TKE、数据库 TBase 等
截至目前,腾讯共开源了 86 个项目,覆盖云打算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 得到了超过 25 万个 Star。同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金资助商。
腾讯开源联盟主席堵俊平首先先容了 TubeMQ 项目。TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。本周,TubeMQ 正式被 Apache 基金会接管为正式 Incubator 项目,开始孵化之旅。(TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ )
第二个项目是腾讯 Kona JDK。腾讯 Kona JDK 在主流 OpenJDK8 的根本上,进行了针对性的开拓和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的利用共享核心类信息来提高启动速率。在云场景下,JVM 的启动速率最高能够提升到 40% 旁边。
为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户得到从系统到运用的 profiling 信息,增强运行时诊断以及热点剖析,辅导优化。目前, 腾讯 Kona JDK 已经在腾讯上万台做事结点大规模支配,做事云上 Java 场景。目前,该项目已经正式开源, 腾讯将对 Kona 进行长期掩护,包括季度性的版本更新,以担保 Kona 用户的 Java 运用的稳定与安全。(Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8 )
然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开拓的分布式 HTAP 数据库。TBase 在兼容 SQL 标准,供应完全的分布式事务能力的同时,担保了金融级数据容灾。在数据安全、分布式实行器优化以及读写分离等方面做了很多事情。目前,该项目已经在腾讯内部大规模采取,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模打破 1000,单日要求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。(TBase 项目的开源地址在这里: http://github.com/Tencent/TBase )
末了是企业级容器平台 TKEStack。腾讯从 2009 年开始开拓自己的容器编排平台,到 2013 年已经在内部掩护了上万台做事器,支撑腾讯很多业务的平稳运行。当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户供应做事。这些履历和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。(TKEStack 项目的开源地址在这里: https://github.com/tkestack )
据先容,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并供应全方位资源管控,办理网络带宽掌握、磁盘 IO 等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技能,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。
未来云打算三大趋势
腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开拓者通过代码共享成果最好的办法,通过腾讯这么多年做事开拓者的履历,腾讯看到的未来云打算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无做事器打算(Serverless)和智能化(Smart)。
邱跃鹏指出,随着云打算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技能会进一步发展,为开拓者供应更强壮的根本举动步伐平台,提升云打算的性能、提高资源利用率,终极为开拓者供应稳定、更具性价比的做事。软硬件一体化带来的技能红利,值得每一位开拓者关注。
同时,无做事器打算,即 Serverless 正在快速演进。Serverless 把开拓者从繁琐、冗杂的开拓配置事情中解放出来,不须要任何的根本举动步伐培植、管理与运维,极大降落了开拓门槛,开拓者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开拓”为例,上线一年已包办事超过 50 万开拓者。“小程序·云开拓”让更多开拓者实现他们的小程序梦想。未来,Serverless 理念也会在更多开拓场景中落地。
随着硬件红利不断开释、开拓者越来越关注于自己的运用,数字化进程不断加快。随之而来的数据量不断增长,对算力的哀求越来越高,人工智能成为开拓者们必须关注和运用的技能。人工智能正在快速演进,云厂商也将会供应更多人工智能产品和能力给到开拓者。
腾讯 20 年技能积累
作为环球最大的互联网公司之一,腾讯无论在根本架构还是大数据 AI 领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到 20 万台,日剖析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时打算次数达到 30 万亿,模型演习维度为 1 万亿。腾讯云副总裁、云架构平台部总经理谢明表示:
无论是从利用通用做事器到不久前发布的“为云而生”的做事器星星海,还是从第一代数据中央中传统的电信办理方案到如今第四代的 T-block 产品家族,腾讯云在根本举动步伐领域已经走出了一条自主创新之路,而随着云打算根本举动步伐的不断进化,这些经由微信、*** 等海量业务充分验证过的根本能力,正在通过腾讯云共享给更多开拓者,助力家当互联网发展。
以星星海做事器来说,在设计过程中,结合了数据中央实际支配环境哀求,针对云真个打算、存储, 网络等场景做了重点优化,能够有效知足腾讯云 98% 运用处景需求。同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云做事实例综合性能提升 35% 以上,最大负载能效比拟业界可提高 50%。
在数据中央方面,第四代数据中央 T-block 让用户能够以搭积木的办法,快速实现全数据中央的模块化配置及培植,比较于传统大规模数据中央,T-block 可以显著减少培植周期和施工本钱。同时,由于率先在行业内采取更高效率的制冷和供配电架构,系统能源利用效率得到有效提升。以一个拥有 30 万台做事器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中央的理念。
除了根本举动步伐,大数据在支撑云打算运用上也起着至关主要的浸染,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:
经由 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据打算量超过 30 万亿条,腾讯已经成为中国实时数据打算量最大的公司。
十年,从以 Hadoop 为核心的离线打算时期到以 Spark、Storm、Flink 为核心的实时打算时期,再到如今的机器学习和深度学习时期,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开拓平台智能钛 TI。目前,腾讯正在研究以批流领悟、ABC 领悟、以及数据湖和联邦学习为方向的下一代大数据平台, 该平台将具备稠浊支配、跨域数据共享和边缘打算等能力。
在过往的开源项目中,大数据领域同样霸占着重要地位。从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向环球开拓者正式宣告开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。这次在 Techo 大会现场,再次重磅宣告正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。
如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金资助商,并通过不断资助、捐献项目、为开源项目贡献代码、办理问题等各种形式,积极参与开源社区生态培植。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开拓者带去便捷、高效的开拓体验。
本文系作者个人观点,不代表本站立场,转载请注明出处!