Iceberg概述
删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别，从而可以通过局部变更来完成...
实施步骤
根据业务数据更新需求，选择大屏数据 自动更新请求，比如 60秒一次。完成上述参数配置后，单击 刷新数据。步骤六：为大屏中的销售总额组件配置数据 选中 销售总额 组件，在 数据 页面进行参数配置。数据源类型：选择数据库。数据源：选择...
索引优化
避免对频繁更新的列建索引：对于数据频繁更新的列，如果数据频繁更新，索引也会频繁更新，这会极大的降低数据更新的性能。只对高选择率的列建B-Tree索引：索引选择率是构建索引时选择什么索引类型的重要指标，B-Tree索引只推荐使用在选择率...
订阅方案概览
数据更新 结构更新 创建PolarDB-X 2.0数据订阅任务 PolarDB PostgreSQL版（兼容Oracle）所有版本 数据更新 创建PolarDB PostgreSQL版（兼容Oracle）数据订阅任务 自建Oracle（非RAC架构）9i、10g、11g版本 数据更新 结构更新 创建Oracle...
订阅方案概览
数据更新 结构更新 创建PolarDB-X 2.0数据订阅任务 PolarDB PostgreSQL版（兼容Oracle）所有版本 数据更新 创建PolarDB PostgreSQL版（兼容Oracle）数据订阅任务 自建Oracle（非RAC架构）9i、10g、11g版本 数据更新 结构更新 创建Oracle...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
迁移时源库为Oracle的注意事项及限制
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
自建Oracle间迁移
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle迁移至RDS PostgreSQL
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle迁移至自建PostgreSQL
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle迁移至RDS MySQL
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle迁移至PolarDB MySQL版
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle迁移至DataHub
单独更新大文本字段场景不支持，任务会失败。其他限制 目标DataHub中单个String字段的长度最大支持2 MB。仅支持表级别的数据迁移，不兼容触发器。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
单独更新大文本字段场景不支持，任务会失败。其他限制 仅支持表级别的迁移，且目标表暂不支持AO表。若使用列映射时为非全表迁移或者源与目标表结构不一致，则目标端比源端缺少的列的数据将会丢失。由于目标 AnalyticDB PostgreSQL版 不支持...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
自建Oracle迁移至阿里云消息队列Kafka版
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle）
单独更新大文本字段场景不支持，任务会失败。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。由于全量数据迁移会并发...
自建Oracle迁移至PolarDB PostgreSQL版
单独更新大文本字段场景不支持，任务会失败。其他限制 需确保源库和目标库的字符集兼容，否则可能会导致数据不一致或任务失败。源库和目标库的时区必须保持一致。建议使用DTS的库表结构迁移功能，否则可能会因为数据类型不兼容而导致任务...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
产品更新动态
2023年4月 发布时间 2023-04-25 功能名称 功能描述 相关文档 支持数据更新——实现卡片内容的动态数据呈现 通过数据库连接方式的数据源，可以设置数据更新频率，手动/周期完成数据内容的更新，目前支持的可更新数据源是：MySQL、ADB MySQL...
同步时源库为Oracle的注意事项及限制
不支持单独更新大文本字段，否则会导致同步任务失败。其他限制 结构初始化的对象有：table、index、constraint、function、sequence和view。警告 DTS在执行结构初始化时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
自建Oracle同步至MaxCompute
不支持单独更新大文本字段，否则会导致同步任务失败。其他限制 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
自建Oracle同步至PolarDB-X 2.0
不支持单独更新大文本字段，否则会导致同步任务失败。其他限制 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始...
自建Oracle同步至PolarDB PostgreSQL版（兼容Oracle）
不支持单独更新大文本字段，否则会导致同步任务失败。其他限制 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
数据方案概览
数据变更 普通数据变更 支持数据库进行数据更新。无锁数据变更 将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理，可以根据...
API概览
UpdateCatalogSettings 更新数据湖Catalog的配置 更新数据湖Catalog的配置，需admin角色以上角色。GetRole 获取数据湖权限中的角色详情 根据角色名获取数据湖权限中的角色。ListRoles 获取数据湖角色列表 获取数据湖角色列表。...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
产品架构
增量数据迁移：当全量数据迁移完成后，DTS会检索本地存储的增量数据，重新格式化，并将数据更新应用到目标数据库中。此过程将持续下去，直到所有正在进行的数据变更都复制到目标数据库，并且源数据库和目标数据库完全同步。数据同步的工作...
- 产品推荐
- 这些文档可能帮助您