Discuz! Board

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 6|回复: 0

看看:多模型数据处理平台TDH8.0:解耦,可以单独通过容器化一键伸缩

[复制链接]

4万

主题

0

回帖

13万

积分

超级版主

Rank: 8Rank: 8

积分
134561
发表于 2024-10-14 02:31:54 | 显示全部楼层 |阅读模式

这一次星环科技重回地球。小虎队软件库的相关问题可以到网站了解下,我们是业内领域专业的平台,您如果有需要可以咨询,相信可以帮到您,值得您的信赖!https://www.xhd1.com/


记忆犹新。一年前的孙元浩,重穿宇航服。当时,星环科技为数据云,组建了“联邦”,对大数据平台也进行重要升级,四层架构被解构为五层,计算引擎从此与存储引擎分离。一年之后,星环科技返航,而且是带着“他们”,重回地球。

一份蛮不讲理的“套餐”

一份套餐,曾经蛮不讲理地摆在你面前。

当你想要一份汉堡时,必须同时喝下一杯可乐,反之也亦然。问题是我只想吃汉堡,或只想喝可乐。大数据基础平台,曾经也是如此不讲道理,计算引擎与存储引擎被紧耦合在一起,数据不管冷热,只要纵向拓展,就需搭配一份计算集群;部门不论多寡,只要有项目启动,就要复制一份存储资源。

显然,这既不合理,也不经济,甚至还不安全。因为有时候用户只需要计算,不需要存储,或者只需要存储,不需要计算。两年前,星环科技已意识到这一点,并下决心对TDH进行重构,即将计算引擎与存储引擎进行分离。

这就是TDH70版本的由来。

其价值如前所述,在TDH70平台的支撑下,用户可以丰俭由人,不必选择所谓的套餐。举例说明,企业中的财务、业务、市场、运营、人力资源等不同部门,需对同一份数据进行分析。在传统模式中,用户或排队,夜以继日地分批进行,或将数据复制多分,同步并行完成。前者是对时间资源的浪费,后者是对存储资源的浪费,且存在数据安全风险。

TDH70平台则将计算引擎与存储引擎解耦。财务部门可以得到一个计算集群,运营部门可以在平行空间,也得到一个单独的计算集群,两个部门使用同一份数据,但不必先来后到的排队,也互不干扰。

一把钥匙开一把锁

这就是一年前的星环科技

而此次,星环科技重返地球,其对TDH(TDH,一站式多模型数据管理平台)、TDC(TDC,数据云)、KDB数据库、ADB数据库、S大数据工具集、S人工智能平台等各条产品线,均有进行了升级。

其中,TDH70版升级至TDH80版,存储引擎由4个增加至8个,对10种主流存储模型的兼容性,也进一步得到完善。在8个存储引擎中,星环科技对原有关系型数据存储引擎、宽表存储引擎、搜索引擎、图存储引擎,均进行了化升级。而地理空间存储引擎被从搜索引擎中拆分单独,键值存储引擎、事件存储引擎、和时序存储引擎则为首次推出。

这就是TDH80版的精华之一。

举例说明,医疗大数据一直特立独行的存在,数据类型之多,数据模式之复杂,并非其他行业所能比。尤其是在抗疫过程中,用户需同时采集时数据、历史数据、图片数据、位置数据、事件类数据等不同类型的数据。

此时,星环科技丰富的存储引擎“插件”,就将派上用场,不同存储引擎的组合应用,即可服务于多模态数据。这就是说,星环科技将爱谁谁的固定“套餐”,改变为谁都爱的“自助餐”。用户可以按需使用、自由搭配。

不仅如此。

所谓“一把钥匙开一把锁”,在数据类型单一的应用中,星环科技的存储引擎更可速解码,计算引擎可以自动选择比较的存储引擎,以现系统性能比较佳、开发成本更低、运营维护更简单。

星环科技一点都不复杂

但话题至此,是否感觉星环科技的大数据平台越来越复杂其一点都不。存储引擎插件越来越多,用户只会体验到它的在性能、运维等方面变化,但在操作过程中,一点也会感觉不到它的复杂。

其,从TDH70版本开始,其已被称为多模型数据处理平台。在TDH80版本中,更是针对多模型数据,形成了统一的SQL编译器、统一的分布式计算引擎、统一的分布式存储管理系统、统一的资源管理框架。

这就要简述数据库的发展历史。传统关系型数据库,针对不同的数据类型,配属不同的计算引擎。但由于计算与存储紧耦合,即使一把锁配备几把不同的钥匙,也很难避免接口也各自为政,很难现数据共通、跨库关联,而且其所支持的数据类型也十分有限,多在3~6种之间。

当然,还有较为偷懒的方式,通过化初始存算策略,以支持不同的数据模型,这种方式看似可以忽略不同的数据库,但则效率较低。此外,还有更偷懒的方式。在原有多个存储引擎之上,增加创建一层统一的系统接口,通过接口“选择”不同的存储引擎,进行数据分发。但此模式同样存在弊端,接口经常不能因材施教,不能将不同的数据类型,比较地与存储引擎相匹配。

显然,星环科技一点都不想狡猾。TDH80版本可支撑10种不同类型的数据,而且不同的存储引擎,使用统一的计算引擎N。计算引擎能根据不同的存储引擎,自动地匹配高性能算法,需用户手工干预。从而便捷的现跨库关联,避免数据导入导出。

星环科技“科”而不“幻”

这还不是全部。

多模型数据处理平台,肯定不是星环科技仅有的的技术创新。TDH80平台的每一层均为解耦,可以单独通过容器化一键伸缩。这又引出4年前,乃至8年前,星环科技的一系列技术决定。

其,星环科技每次进行重大技术选择时,竞争对手都等着在看笑话,但显然笑话并没有出现,吃瓜群众倒是凉了一堆,而星环科技手里的“瓜”,也是越来越甜。

星环科技创立初期,于对S引擎的改造,并推出了I分析型数据库。正是基于此数据库,星环科技在TPC-DS测试中一战封神。要知道,在此前12年中,没有一家完整通过全场景测试,更别说通过官方审计。

也几乎是在同时,数据上云已成必然趋势。对此,星环科技选择了以容器技术,重构底层基础架构,并投资研发基于云原生技术的云操作系统TCOS。该系统则取代了H框架中的“YARN资源调度系统”,数据处理性能大幅提升。这也奠定了星环科技在数据云领域的行业地位。

延伸此思路。

四年前,星环科技以容器化方案,再次对数据平台进行重构。这也是一次充满争议的技术选择。甚至用户都开始怀疑,星环科技是不是选错了路线。但事证明,正是此次重构后,推出的TDH50,以及TDC(数据云),恰又成为一个分水岭。

由此,星环科技从一家大数据,升级成为一家数据处理平台和工具的企业,其可围绕数据,提供大数据、小数据、智能分析、数据云等一系列服务。甚至在2022年时,美国的用户也开始寻求与星环科技合作,因为当时还没有任何一家美国,能推出类似,且成熟的产品。

在此阶段,星环科技的TDC(数据云)也成为领先时代的产品。其,传统云计算只是以ICT物理资源为中心,而以数据为中心的数据云,则正在成为企业数字化建设的基础设施,即云计算20。显然,星环科技又是率先提出此概念,而此后其也被产业认可,但C等,只是在1~2年后,才推出类似平台。

当然,星环科技并没有停步。也是在此次发布中,星环科技正式推出TDC24版本,这是一个集数据PS、分析PS、应用PS于一体的数据云。也就是说,在一个PS平台上,星环科技可提供包括数据仓库数据湖、数据治理、数据智能与分析、数据交易与共享等在内的完整的数据解决方案,以及应用生命周期管理能力,现数据驱动,速迭代,从而赋能企业持续创新。

主角光环从何而来

由此可见,不管是对S引擎的改造、还是淘汰YARN资源调度系统;不管是基于容器技术,重构大数据平台,还是率先推出数据云。星环科技总能做出正确选择,且能将解决方案落地现。

确如此。

数据基础设施产业需要原创,更要不害怕走新路。星环科技的主角光环,星环科技每一次正确的选择,都不是“幸运”所能解释。他是在真正了解用户需求后,坚持不懈地进行技术创新,他是在以应用为导向,持之以恒地进行技术驱动。而这次,星环科技又带着“他们”,重返数字地球,这次又是有备而来。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|首页-和茂光颜料有限公司

GMT+8, 2024-10-31 01:32 , Processed in 0.053479 second(s), 19 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表