金猿产品展:探索企业级云数据平台CyberMeta

发表时间: 2022-12-26 22:55


云数据平台CyberMeta是一站式大数据智能研发与治理平台,集成了数据集成、数据开发、生产运维、实时分析、资产管理、数据质量、数据安全、数据共享等核心数据工艺,让数据从采集到展现、从分析到驱动应用实现一站式平台服务。产品致力于为企业解决多业务场景、多业务系统下的数据共享、资产管理等难题,帮助企业提升数据工作者工作效率和降低数据运维管理成本,挖掘数据价值,为企业决策提供数据支撑。

2022年重大更新升级

云数据平台CyberMeta在2022年主要做出了以下方面的革新调整:

  • 具备多租户、弹性扩展、计算存储分离等特性,拥有一站式一体化的服务能力。
  • 支持多元异构大数据引擎灵活可插拔,支持流批一体、湖仓一体的技术解决方案。
  • 产品提供开源和开放,通过OPENAPI方式可以快速和第三方产品进行集成。
  • 数据集成支持非结构化数据源FTP、SFTP、HDFS等多种数据源的数据读取和写入。
  • 提供实时计算能力,实现Flink作业开发。通过Flink SQL、Flink Jar 作业实现不同存储系统之间的ETL处理等。提供在线调试、查看运行日志、语法校验、版本管理等功能。
  • 数据开发支持Flink、Spark、MR等多种计算引擎,支持在平台上进行各类引擎任务的开发、测试、发布和运维等操作。
  • 支持对多套环境进行任务发布和管理,实现一套代码多环境部署的目的。
  • 数据地图模块实现以数据搜索为基础,提供表详情、数据类目、数据血缘、元数据采集等功能。
  • 数据服务提供加工、融合后的数据表快速生成API,支持API在线测试、授权、调用等,同时支持注册现有API至数据服务模块,进行API的统一管理与发布。

应用场景/人群

产品应用场景:

1、数据中台建设全流程:集成-开发-数据服务,一站式完成,帮助企业建立完善的信息化解决方案,支撑公司业务发展、规范作业流程。

2、大数据计算及分析:利用集群及强大的计算引擎,完成海量数据分析。

3、数据汇聚:通过数据平台,打破数据孤岛,将不同系统之间的数据相互打通,实现数据自由离线或实时流动,提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,构建企业全域数据资产中心,释放数据价值。

4、数据全生命周期治理:提供系统化工具保障数据治理工作的落地和开展,制定数据标准,完善管理体现,规范监控流程,建立企业统一数据门户,保证数据能够精准、安全的提供给用户和系统。

客户内部使用人群:

1、从事数据开发、算法开发等岗位的技术人员。

2、从事数据应用开发的开发人员。

3、把控公司核心数据资产的管理人员。

产品功能

数据集成:

提供可跨异构数据存储系统能力、可靠、安全、低成本、可弹性扩展的数据同步平台,通过可视化向导模式和脚本模式等多种方式与企业系统集成。

1、支持db/nosql/半结构化/二进制等主流格式;

2、支持多类数据源,多对数据传输模式;

3、开放式插件式架构,新增数据源类型支持只需几天。

数据开发:

提供可视化一站式离线任务和实时任务开发功能,集成主流计算引擎和针对各种业务场景的存储引擎,通过拖拉拽的方式轻松完成数据处理分析流程。

数据质量管理:

统一的数据标准,支持多种异构数据源的质量校验、通知及管理服务的一站式平台,为用户提供全链路的数据治理方案,包括数据探查、对比、治理监控、SQL扫描和智能报警等功能。

2022年新增的产品功能:

数据开发:实时任务开发功能。

数据服务:

提供一站式API托管服务,实现数据服务API 的创建、维护、发布、监控等全生命周期的管理。支持数据 API 服务的发布和下线,支持 API 发布版本管理。

数据资产:

以数据搜索为基础,提供表详情、资产类目、资产盘点、数据血缘、元数据采集等工具,实现对数据的统一管理和血缘的跟踪。

统一调度系统:(2022年改造升级)

提供全面托管的调度服务,包括任务调度配置、任务调度运行、资源控制、调度策略、调度监控等。

1、支持最小到分钟级调度,支持任务即时实例化,无需T+1等待;

2、支持多元异构集群统一调度,支持跨云、跨中心、跨集群、跨系统调度;

3、全面的运行监控和预警。

产品优势

1、简单、易用、低门槛:集成大数据核心组件,通过可视化开发界面,高效的完成大数据开发,快速让企业拥有大数据能力,支持多人协同开发,提升工作效率。

2、开源底座、混合云:整合高性能、稳定版本的开源存储及计算大数据组件,全国首个开源完整的数据平台OS,支持在各大云平台上部署使用。

3、一体化、全栈式:提供数据采集、标注、清洗、加工等一站式数据服务,覆盖整个数据生命周期,全链路管理。

4、安全性、自主性:支持私有化部署及混合部署,保障数据的自主权。同时支持数据权限控制、数据脱敏、 实时审计、高危风险告警,确保数据的安全。

与行业中其他友商对比的优势:

1、集成多种大数据和AI引擎,实现数智一体化(湖仓一体,流批一体,数智一体)。

2、先进的现代化数智平台架构,云化、云原生化和实时化。

3、开源、开放 ,开源的云数据平台,并且完全开放系统API给生态伙伴。

4、支持平台能力与大数据组件分离,实现轻量化部署,与客户原有大数据组件无缝衔接。

5、支持多地域、多环境、多集群发布能力。

服务客户/使用人数

重要代表性客户:某大型国有能源公司

通过调研客户业务流程,发现实时开发能力有限、平台自动化程度低、资产管理与使用效率低等问题。为解决客户在业务中存在的问题,我们一方面提供实时开发平台,通过“Flink+Kafka”技术实现实时的数据采集和数据处理能力,并支持异构数据源读写、自动构建血缘关系等功能,另一方面提供统一的数据资产管理平台,通过元数据采集对资产进行统一的管理,形成数据资产。通过对数据平台的全面升级,使得客户在物探、钻井、测井等13项勘探开发业务和计划、财务、物资等11项行政经营业务的数据及时性由87%提升至96%,极大程度提高了各部门的工作效率。

总的产品适用客户量或人群数量:

CyberMeta适用绝大多数的企业,覆盖金融、政府、能源、教育、制造业、零售等多个行业。2022年主要客户有20个,大部分为世界500强企业,产品适用人群数量覆盖26000人左右。

市场价值

云数据平台CyberMeta产品的市场价值:

1、支撑企业的数字化转型:帮助企业快速构建端到端的数据平台,消除数据孤岛,统一数据标准,形成统一的数据资产,发挥数据价值,加快数据变现,促进数字化转型。

2、推动企业的创新:数据平台使企业的数据具备快速编排、组合服务的能力,实现数据高效共享,提升数据的获取和服务效率,让数据快速有效就绪,可以更好地支持企业规模化创新,降低试错成本,使企业自身能力与用户的需求可以持续对接。

3、提高企业效能:企业通过抽象、梳理、整合可复用的功能和场景,将其提炼为可被业务单元引用的基础能力并下沉,避免重复造轮子,实现服务快速复用。打破新旧业务的数据壁垒,解决求稳与求变的矛盾,同时减少人员与部门间的沟通成本,提升企业整体运营和创新效能。

提示:直接点击文末左下角“阅读原文”链接可直达该产品官网页面

产品所属企业·:数新网络

数新网络,全称浙江数新网络有限公司,2020年7月成立,总部位于杭州。公司创始人陈廷梁(花名:王贲)是原阿里云大数据平台研发总监,御膳房、DataWorks平台创始人,数加平台总负责人。数新作为一家拥抱开源,专注于云数据平台的大数据服务商,致力于打造国内领先的云数智操作系统。通过公司自主研发的DataCyber产品序列,包括云数据平台CyberMeta,云数据科学平台CyberScience,数据运维平台CyberOPS,数据分析平台CyberExcel,可提供数据汇聚到数据服务、高效建模、智能运维、智能分析的一站式服务,让数据从采集到展现、从分析到驱动应用得到高质量结合,整体提升企业竞争力。