大手笔开源:容器平台 TKE、数据库 TBase 等

腾讯大年夜手笔开源全体容器平台20 年技能积累首公开_腾讯_开源 AI简讯

截至目前,腾讯共开源了 86 个项目,覆盖云打算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 得到了超过 25 万个 Star。
同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金资助商。

腾讯开源联盟主席堵俊平首先先容了 TubeMQ 项目。
TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。
特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。
本周,TubeMQ 正式被 Apache 基金会接管为正式 Incubator 项目,开始孵化之旅。
(TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ )

第二个项目是腾讯 Kona JDK。
腾讯 Kona JDK 在主流 OpenJDK8 的根本上,进行了针对性的开拓和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的利用共享核心类信息来提高启动速率。
在云场景下,JVM 的启动速率最高能够提升到 40% 旁边。

为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户得到从系统到运用的 profiling 信息,增强运行时诊断以及热点剖析,辅导优化。
目前, 腾讯 Kona JDK 已经在腾讯上万台做事结点大规模支配,做事云上 Java 场景。
目前,该项目已经正式开源, 腾讯将对 Kona 进行长期掩护,包括季度性的版本更新,以担保 Kona 用户的 Java 运用的稳定与安全。
(Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8 )

然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开拓的分布式 HTAP 数据库。
TBase 在兼容 SQL 标准,供应完全的分布式事务能力的同时,担保了金融级数据容灾。
在数据安全、分布式实行器优化以及读写分离等方面做了很多事情。
目前,该项目已经在腾讯内部大规模采取,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模打破 1000,单日要求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。
(TBase 项目的开源地址在这里: http://github.com/Tencent/TBase )

末了是企业级容器平台 TKEStack。
腾讯从 2009 年开始开拓自己的容器编排平台,到 2013 年已经在内部掩护了上万台做事器,支撑腾讯很多业务的平稳运行。
当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户供应做事。
这些履历和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。
(TKEStack 项目的开源地址在这里: https://github.com/tkestack )

据先容,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并供应全方位资源管控,办理网络带宽掌握、磁盘 IO 等难题。
同时,该项目还有腾讯创新的 GPU 虚拟化技能,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。

未来云打算三大趋势

腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开拓者通过代码共享成果最好的办法,通过腾讯这么多年做事开拓者的履历,腾讯看到的未来云打算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无做事器打算(Serverless)和智能化(Smart)。

邱跃鹏指出,随着云打算承载的业务规模越来越大,软件和硬件的结合成为刚需。
软硬件一体化技能会进一步发展,为开拓者供应更强壮的根本举动步伐平台,提升云打算的性能、提高资源利用率,终极为开拓者供应稳定、更具性价比的做事。
软硬件一体化带来的技能红利,值得每一位开拓者关注。

同时,无做事器打算,即 Serverless 正在快速演进。
Serverless 把开拓者从繁琐、冗杂的开拓配置事情中解放出来,不须要任何的根本举动步伐培植、管理与运维,极大降落了开拓门槛,开拓者只需关注自己的业务逻辑。
以腾讯云和微信联合推出的“小程序·云开拓”为例,上线一年已包办事超过 50 万开拓者。
“小程序·云开拓”让更多开拓者实现他们的小程序梦想。
未来,Serverless 理念也会在更多开拓场景中落地。

随着硬件红利不断开释、开拓者越来越关注于自己的运用,数字化进程不断加快。
随之而来的数据量不断增长,对算力的哀求越来越高,人工智能成为开拓者们必须关注和运用的技能。
人工智能正在快速演进,云厂商也将会供应更多人工智能产品和能力给到开拓者。

腾讯 20 年技能积累

作为环球最大的互联网公司之一,腾讯无论在根本架构还是大数据 AI 领域的实践,都极具代表性。
目前,腾讯的算力资源池已经达到 20 万台,日剖析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时打算次数达到 30 万亿,模型演习维度为 1 万亿。
腾讯云副总裁、云架构平台部总经理谢明表示:

无论是从利用通用做事器到不久前发布的“为云而生”的做事器星星海,还是从第一代数据中央中传统的电信办理方案到如今第四代的 T-block 产品家族,腾讯云在根本举动步伐领域已经走出了一条自主创新之路,而随着云打算根本举动步伐的不断进化,这些经由微信、*** 等海量业务充分验证过的根本能力,正在通过腾讯云共享给更多开拓者,助力家当互联网发展。

以星星海做事器来说,在设计过程中,结合了数据中央实际支配环境哀求,针对云真个打算、存储, 网络等场景做了重点优化,能够有效知足腾讯云 98% 运用处景需求。
同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云做事实例综合性能提升 35% 以上,最大负载能效比拟业界可提高 50%。

在数据中央方面,第四代数据中央 T-block 让用户能够以搭积木的办法,快速实现全数据中央的模块化配置及培植,比较于传统大规模数据中央,T-block 可以显著减少培植周期和施工本钱。
同时,由于率先在行业内采取更高效率的制冷和供配电架构,系统能源利用效率得到有效提升。
以一个拥有 30 万台做事器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中央的理念。

除了根本举动步伐,大数据在支撑云打算运用上也起着至关主要的浸染,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:

经由 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据打算量超过 30 万亿条,腾讯已经成为中国实时数据打算量最大的公司。

十年,从以 Hadoop 为核心的离线打算时期到以 Spark、Storm、Flink 为核心的实时打算时期,再到如今的机器学习和深度学习时期,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开拓平台智能钛 TI。
目前,腾讯正在研究以批流领悟、ABC 领悟、以及数据湖和联邦学习为方向的下一代大数据平台, 该平台将具备稠浊支配、跨域数据共享和边缘打算等能力。

在过往的开源项目中,大数据领域同样霸占着重要地位。
从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。
今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向环球开拓者正式宣告开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。
这次在 Techo 大会现场,再次重磅宣告正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。

如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金资助商,并通过不断资助、捐献项目、为开源项目贡献代码、办理问题等各种形式,积极参与开源社区生态培植。
未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开拓者带去便捷、高效的开拓体验。