数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
步骤五：创建并启动入湖任务 由于DLF中数据入湖功能已经停止更新，如果您有数据入湖需求请参考 DLF中数据入湖功能停止更新公告。您可以采用以下两种方式进行Delta Lake和Hudi格式的数据入湖操作。重要 Delta格式的数据入湖可选择单表离线...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
行级管控
应用场景 DMS 的行级管控可保护横向数据安全，所有的行通过一个或若干个确定的值（管控字段的取值）进行区分，实现对行数据的管控。如果您需要使员工仅可查看自己负责地域的数据，不能查看全部区域的数据，可以使用 DMS 的行级管控功能。...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
通过LOAD DATA导入至数仓版
在 REPLACE 模式下，一旦有数据行导入失败，系统将中止后续 INSERT 操作，因此可能存在部分行数据导入，部分行数据未导入的情况。支持通过 SHOW WARNINGS 命令，查看失败行的错误信息。示例 将本地文件 out.bak 中的数据导入 AnalyticDB ...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
多行数据合并为一行数据
本文为您介绍，如何使用SQL实现多行数据合并为一行数据。示例数据 class gender name 1 M LiLei 1 F HanMM 1 M Jim 1 F HanMM 2 F Kate 2 M Peter 使用示例 示例1：将 class 相同的 name 合并为一行，并对 name 去重。去重操作可通过嵌套子...
自动添加数据源
数据库备份DBS 支持自动添加数据源功能，可以将阿里云上的RDS实例自动同步到DBS数据源中，以便后续对数据源进行管理与备份。功能说明 该功能当前仅支持自动接入RDS实例，包含 RDS MySQL、RDS SQL Server、RDS PostgreSQL、RDS MariaDB。...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
使用DMS数据追踪进行恢复
DMS的数据追踪功能可以快速按需找到目标时间段内的相关更新，并生成逆向回滚语句，追踪完的数据可批量生成回滚脚本，通过数据变更工单最终执行到数据库中完成数据的修复。当误操作受影响的数据量在10万以内时，您可使用该方法进行数据恢复...
SQL窗口介绍
数据管理DMS的SQL窗口可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。前提条件 已具备目标库或表的查询权限。申请权限，请参见 权限管理。SQL窗口界面介绍...
功能发布记录
2023年12月 功能名称 变更类型 功能描述 发布时间 相关文档 支持DTS迁移和同步 新增 云数据库 SelectDB 版 接入数据传输服务DTS，您可以 通过D TS迁移或同步数据到SelectDB数仓进行实时分析。2023-12-25 RDS MySQL迁移至云数据库SelectDB版...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
EMR+DLF数据湖解决方案
同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案具体实践步骤。背景信息 在EMR数据湖方案中，结合DLF，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
流程简介
接入数据 配置模型编排中使用到的数据表、本地数据及API。接入算子 配置模型编排中使用到的算子。系统支持的脚本算子类型有：SQL。创建模型 模型为数据探索的核心部分，将数据及算子编排成模型，并对模型列表进行统一管理，包含模型版本...
上传数据
勾选 是，首行数据将不上传。未勾选，则首行数据上传。选择目标表字段与源字段的匹配方式，确认后单击 导入数据。您可以选择按位置匹配或按名称匹配两种方式来匹配待上传的数据与MaxCompute表字段的对应关系。完成后，界面提示数据导入成功...
Oracle逻辑备份
数据库所在位置 需要备份的数据库所在位置，支持的选项：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 POLARDB实例 说明 如果选择POLARDB实例，具体操作步骤请参见 PolarDB O引擎逻辑备份。...
DELETE
语法 delete_statement:=DELETE FROM table_name WHERE where_clause 说明 Where_Clause必须可以唯一限定一行数据。语法限制 DELETE的WHERE子句中，必须给出能够唯一定位一行数据的完备主键条件。一条DELETE语句只能删除一行数据，不支持一...
数据连接管理
在配置任务时，您可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需您手动输入，避免了重复输入数据库信息的繁琐步骤。本文介绍如何录入、保存、编辑或删除数据库实例。前提条件 若您需要录入其他阿里云账号的数据库，需要对登录...
从备库备份MongoDB数据库
有公网IP:Port的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库(通过数据库网关DG接入)操作步骤 本示例的源库部署位置为 通过专线/VPN网关/智能网关接入的自建数据库。登录 DBS控制台。单击左侧导航栏中...
DataWorks新版数据源公告
尊敬的DataWorks用户：为了给您带来更为统一的产品使用体验，我们计划于 2023年10月20日 开始逐步将DataWorks内的MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、ClickHouse计算引擎合并入数据源管理；...
从PolarDB PostgreSQL版迁移至自建Oracle
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB PostgreSQL版 迁移至自建Oracle数据库，可用于数据回流测试、业务功能测试等场景。前提条件 PolarDB PostgreSQL版 集群中，待迁移的表需具备主键或非空唯一索引。自建...
实例接入DAS常见问题
A:具体操作请参见 接入数据库实例。Q:不同数据库引擎最小需要什么权限？A:请参见 权限说明。Q:是否支持自建MySQL使用root账号接入？A:暂不支持。数据库网关DBGateway需要使用数据库所在机器的IP地址连接数据库，但MySQL root账号通常只允许...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
PostgreSQL逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
- 产品推荐
- 这些文档可能帮助您