什么是DataWorks

从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。产品架构 DataWorks十多年...

数据服务

背景信息 数据服务提供了数据中台建设过程中的数据服务化能力,面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力;面向数据资产管理者提供服务的统计分析、服务用量统计分析,实现数据中台...

产品优势

多场景支持:支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、规模数据集成、离线计算、异构数据集成等。低门槛:近乎零代码,简单配置连线后即可满足各项离线数据集成任务,同时任务支持复杂调度。基于资产的虚拟湖:配合数据...

添加处理后数据数据管理

数据处理后,需要将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例,介绍如何添加处理后数据数据管理。前提条件 已新建数据处理任务,具体操作,请参见 新建数据处理任务。操作...

空间数据(邀测

入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库,方便对空间数据库进行空间检索、数据质检、血缘记录,打通数据...,使得空间数据被用于数仓建设、标签管理等数据中台任务...

功能简介

入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库,方便对空间数据库进行空间检索、数据质检、血缘记录,打通数据...,使得空间数据被用于数仓建设、标签管理等数据中台任务...

准备工作

开通企业数据智能平台 企业数据智能平台默认为关闭状态,使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角,选择实例所在地域。...单击 开通数据中台

应用场景

构建数据中台,行业领域模型快速沉淀 场景:快速构建数据仓库,有效治理数据质量,实现政企客户各部门数据的业务协同和共享。痛点:以政务服务为例,政务服务部门众多,业务系统复杂、流程长,数据来源多且更新频率高;数据口径标准、数据...

添加入库任务

入库后,方便对空间数据库进行空间检索、数据质检、血缘记录,打通数据计算引擎链路,使得空间数据被用于数仓建设、标签管理等数据中台任务。本文主要介绍如何添加入库任务。前提条件 已添加文件类矢量数据,具体操作,请参见 添加文件类...

客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

功能简介

面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力,实现数据中台建设后半场“数据应用”的有效落地,支撑数据智能应用的高效开发。API开发 支持数据服务API。支持创建、编辑和测试API,支持的API类型包括...

统一服务

面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力,实现数据中台建设后半场“数据应用”的有效落地,支撑数据智能应用的高效开发。API开发 支持数据服务API、三方API、数据上报API、和空间服务API。支持创建...

功能简介

面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力,实现数据中台建设后半场“数据应用”的有效落地,支撑数据智能应用的高效开发。API开发 支持数据服务API、三方API、数据上报API、空间服务API。支持创建、...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域已完成以下操作:云消息队列 Kafka 版 ...

大数据安全治理的难点

通常,大数据系统的工作流涉及多部门、多责任人且跨系统的数据,如何才能协调好这些业务系统准时、保质保量地产出数据,避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据,关乎到企业数据业务的连续性问题甚至高层的信任问题...

DataWorks数据服务对接DataV最佳实践

DataV通过与DataWorks数据服务的对接,通过交互式分析Hologres连接DataWorks数据服务开发并生成API,快速在DataV调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...

功能特性

安全管控 功能集 功能 功能描述 参考文档 实例管理 数据库配置 在DMS创建或删除数据库,调整数据库的Owner、字符集或校验规则。资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时,DMS会...

回收站列表

您在治理工作台中删除数据表的时间即为回收站的回收日期。操作日期 清除数据表的日期。回收状态 数据表的 回收状态。清除表 清除后的数据表不支持再次恢复,请您谨慎操作。在 回收站列表 页面,单击需要删除表所在行的 操作 列下 图标。...

手动添加数据

您可以通过 数据库备份DBS 的手动添加数据源功能,将不同环境的数据库添加至 数据库备份DBS ,便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用,只有在添加数据源后开启备份才会产生费用。如何开启备份,请参见 ...

清除数据

您可以在控制清除 云原生内存数据库Tair 实例的所有过期数据或所有数据。操作步骤 说明 在 参数设置 禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表,在上方选择地域,然后单击目标实例ID。在 实例信息 页面...

清除数据

您可以在控制清除 云数据库 Redis 版 实例的所有过期数据或所有数据。操作步骤 说明 在 参数设置 禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表,在上方选择地域,然后单击目标实例ID。在 实例信息 页面,...

功能简介

面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力,实现数据中台建设后半场“数据应用”的有效落地,支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力,帮助用户在数据开发等过程中...

发展历程

全球两大热门计算存储标准化开源体系之一的ORC(Optimized Row Columnar)社区的PMC(Project Management Committee),MaxCompute成为近两年贡献代码量最多的贡献者,引导存储标准化。MaxCompute积极投入全球热门的优化器项目Calcite,...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...

数据管理DMS服务器监控数据的采集频率

本文对数据管理控制台中服务器监控数据刷新频率进行说明。通过“登录服务器”,进入到服务器管理界面,“实时监控”显示的数据,是每隔5秒左右获取一次数据,如下图。关闭、退出服务器管理界面,会自动停止“实时监控”数据的采集。数据...

功能发布记录(2023年)

2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发(DataStudio)绑定数据源 若您要在DataWorks进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)...

功能特性

DBFS特性 原子写 支持DIRECT IO的原子写,需按4K,8K,16K对齐-共享读写 一份数据可共享式多点挂载并进行读写,读写可线性扩展-存储加密 通过对数据库文件存储实施加密,可以确保数据库文件存储上的所有数据(包括静态存储和动态传输的...

保险行业解决方案与案例

也是信创工作的重点和难点,因此该公司以数据库替代作为信创工作的切入点和突破口,计划用一年时间完成所有系统的数据库信创替代,根据实际情况逐步分步实施,利用 PolarDB PostgreSQL版(兼容Oracle)充分发挥高度兼容原生产数据库的...

产品优势

产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域,每个领域深度覆盖大数据全生命周期,轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...

ETL工作流快速体验

GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集,通过DataWorks 数据集成 模块获取过去1小时GitHub提交次数最多的代码语言数据,在DataStudio 数据开发 模块通过函数...

基于SLS+OSS+DLA构建海量、低成本日志分析方案

方案介绍 对于数据分析人员、开发人员或者运维人员而言,日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用,日志都是其工作过程必不可缺的数据来源。为了节约成本,通常情况下日志会被设定一定的保存时间,此类日志称之为...

DMS数据管理预案助力业务大促

开启数据水印功能 您可以在DMS开启 防泄露数字水印 功能,系统将在整个控制台中同时提供水印,保障您的数据信息安全,防止截图等数据泄露事件。具体操作,请参见 防泄露数字水印。敏感数据管控 有效识别敏感数据的分布,进行细粒度权限...

查看与减少数据备份

本文介绍如何在DBS查看备份数据大小,同时提供减少备份的方法。查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制。单击左侧导航栏的 备份计划,然后在上方选择目标地域。单击目标备份计划名称,进入 备份...

批量或异步插入数据

本文介绍如何在云数据库ClickHouse批量或异步插入数据。批量插入数据 默认情况下,每个发送到云数据库ClickHouse的插入操作都会导致云数据库ClickHouse立即在存储创建一个包含插入的数据以及其他需要存储的元数据信息。因此,相比较...

Github实时数据同步与分析

本文以使用DataWorks实时同步公共数据至Hologres,并通过Hologres进行实时数据分析为例,为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤,您也可以使用付费资源,操作类似。教程...

企业版和标准版功能对比

支持 不支持 高性价比 冷数据归档 若集群某些库表的数据几乎没有更新、插入和修改操作,且读取频率非常低,如果您有降本需求,可以使用 PolarDB MySQL版 提供的冷数据归档功能,将这部分数据转存至低成本的OSS上存储,以降低数据存储成本...

规格及选型

案例二:互联网SaaS用户 用户为互联网SaaS客户,需要建立数据中台,涉及多数据源包括RDS、Flink、OSS等,期待在平台上完成数据的ETL流程,实现多源处理以及分析侧不同场景的混合负载支持,需要高稳定性保证,同时平台对接数据应用支持报表...

BigQuery数据迁移至MaxCompute

本文为您介绍如何通过公网环境将谷歌云GCP(Google Cloud Platform)的BigQuery数据集迁移至阿里云MaxCompute。前提条件 类别 平台 要求 参考文档 环境及数据 谷歌云GCP 已开通谷歌BigQuery服务,并准备好环境及待迁移的数据集。已开通谷歌...

功能发布记录 2022年之前

数据服务API资产(向导、脚本、注册等类型API)已接入数据地图,支持企业场景和全局范围的数据接口查找及管理,包括全局API检索、热门API统计、独立API详情页、各数据源下的API分布等产品功能。2021.09.30 全部地域。数据服务API 查看API...

高效数据治理实施指南

背景信息 在多人协作的数据团队数据治理是重要且繁琐的工作,在解决“如何制定客观的数据治理目标”、“如何高效推动团队达成治理目标”的过程,通常包含以下挑战:问题难定位:传统数据治理方式难以快速、完整、精准地定位潜在问题...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 数据库备份 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用