从引进到自研,腾讯大数山西万荣事件全集据平台每日数据计算量超30万亿

作者:编辑部日期:

分类:时时彩平台/网址/

在11月6日举行的Techo开发者大会上,腾迅云副总裁兼腾讯数据平台部总经理姜杰博士正式披露了腾讯大数据平台十年的技术演进。经过10年的积累,腾讯大数据平台的计算能力资源库现在拥有超过20万台的规模,每天有超过30万亿次实时数据计算。腾讯已经成为中国最大的实时数据计算公司。此外,以资源管理平台TKE为核心,分布式数据库TBase正式对外开放源码,腾讯正在成为大数据领域最全面的开源公司。

滕旭云副总裁兼腾讯数据平台部总经理姜杰

作为全球最大的互联网公司之一,腾讯的数据量在短短五六年间增长了数千倍。目前,每天都有数十亿以上的数据生成。为了应对这种爆炸性增长,腾讯走了一条技术引进+转型+自主研发的道路。经过十年的不断升级和改进,腾讯的大数据平台经历了四代进化。鉴于大数据和人工智能技术的最新发展趋势,腾讯正在下一代计算平台中探索批处理流集成、作业成本法集成、数据湖和联邦学习等前沿技术。

十年四次升级,建立“大数据+人工智能”双引擎技术架构

腾讯目前拥有100多万台服务器。腾迅云联合所有业务部门,建立一个免费业务资源的计算能力共享平台。计算能力弹性资源库的规模为200,000。大数据平台每天有1500万个分析任务、30万亿次实时计算和35万亿次数据访问。此外,滕循云的分布式机器学习平台可以支持1万亿维数据培训。

支持这种大规模数据访问和计算的能力是腾讯十多年来在大数据技术领域的积累。其核心大数据平台已经完成了三次迭代。从以Hadoop为核心的离线计算时代到以Spark、Storm和Flink为核心的实时计算时代,到现在的机器学习和深度学习时代,腾讯从零开始开发了分布式机器学习引擎安吉尔(Angel)和一站式人工智能开发平台智能TI,解决了数据训练和算法问题。目前,腾讯正在研究面向批量流融合、作业成本法融合、数据湖和联邦学习的下一代大数据平台。该平台将具有混合部署、跨域数据共享和边缘计算的能力。

据了解,腾讯已经建立了“大数据+人工智能”双引擎技术架构,以支持大规模业务发展。底层是分布式存储层,存储结构化和非结构化数据。第二层是资源调度层,管理中央处理器、图形处理器和现场可编程门阵列。第三层是计算层、分析层和数据采集层,顶层是业务应用层。通过四层完整的技术框架,腾讯的整个应用生态得到自下而上的保护,确保上亿用户能够安全流畅地享受腾讯的优质服务。

实践中从局部优化到独立研发的持续创新

从技术引进和部分优化到自主创新的今天,腾讯的大数据技术在实践中不断完善和创新。十年前,腾讯难以管理数百个节点,调度性能和规模都很差。为了有效解决计算能力和大规模集群的问题,腾讯开发了自己的调度器。与原生调度器相比,其性能提高了150倍,极大地提高了集群的可扩展性。2016年,腾讯打破了排序基准的四项世界记录,标志着其计算能力已经达到世界领先水平。

由于腾讯拥有灵活资源池的200,000台机器分布在多个数据中心、不同地区甚至不同国家,为了减少数据使用障碍,腾讯去年开发了漂移计算引擎SuperSQL,作为统一的数据分析门户。通过智能CBO优化器,计算被下推到分布在全国各地的异构数据源。数据分析性能提高了许多倍,数据量越大,优势越明显。

数据的应用越来越深入,腾讯对数据挖掘的需求也越来越大。随着模型的增加,原本用于数据训练的磁共振和火花(Spark)已经不能满足上亿个模型维度的需求。2015年初,腾讯开始开发自己的高性能分布式机器学习平台安吉尔(Angel),该平台采用PS架构,时时彩平台,可支持10亿个维度。目前,安吉尔已经发展到3.0版,可以支持数万亿个维度,也可以与斯帕克(Spark)、派托(PyTorch)和TensorFlow等生态兼容,从而进一步降低使用门槛。此外,安吉尔今年增加了对深入学习和图形计算的支持。

腾讯正在成为大数据领域最全面的开源供应商

技术迭代继续加速。企业在构建大数据平台和机器学习平台时面临各种问题,不仅成本高,而且缺乏相应的专业人员。

在云时代,这些问题已经得到有效解决。目前,腾讯已经通过滕循云在上层开放了网络、存储和数据库等IaaS功能,大数据和机器学习等PaaS功能,以及图像、语音、自然语言处理和商务智能等SaaS功能。在大数据和人工智能两个领域,腾讯推出了由TBDS和智能钛钛钛(titanium TI)引领的双引擎。让每个企业,不需要专业的大数据和人工智能团队,也可以方便地使用领先的大数据和人工智能能力。

此外,腾讯还通过开源与开发者分享技术成果。从2014年开始,第一代平台——腾讯版蜂巢(Hive)的核心已经开放。2017年,第三代平台的核心——天使(Angel)已经对外开放。今年,腾讯加快了开源步伐。在推动开源和与他人合作的内部战略驱动下,腾讯拥有的所有技术堆栈在未来将变得越来越开放。

本文标签:

相关阅读

关键词不能为空
网址推荐

幸运标签

综合门户,更新快,资讯全