数据引入层（ODS）
数据集成提供数据同步解决方案，您可以通过配置同步规则，实现离线数据全量及增量同步、增量数据实时写入、增量数据和全量数据定时自动合并写入新的全量表分区。详情请参见 同步解决方案。ODS层的表建议以统计日期及时间分区表的方式存储，...
新建事实逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级的分区字段。③ 字段...
2021年
本文为您提供MaxCompute产品在2021年的重要功能发布信息。MaxCompute的重要功能发布详情请参见 产品重大更新。2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+OSS的...
从RDS MySQL迁移至自建Kafka
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
逻辑数仓
背景信息 企业在数字化转型过程中，越来越意识到数据作为生产要素的重要性，期望通过数据驱动业务和决策，提升企业竞争力。但在实际落地过程中有两个常见问题影响了数据驱动的实现和效率：资源和成本问题 建仓和管仓成本高，中小企业缺少...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
创建集群
重要 当创建Shuffle Service集群类型时，所关联ACK集群的专属节点池或节点的实例规格必须均为大数据型或者本地SSD，否则部署RSS失败。说明 在阿里云EMR for ACK的使用场景中，针对Shuffle Service类型的集群，系统内置了一个名为“rss-pvc-...
创建云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB...
前提条件 RDS MySQL实例版本需满足以下条件才可以创建 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）分析实例：MySQL 8.0高可用系列（本地SSD盘或SSD云盘）MySQL 8.0集群系列 MySQL 5.7集群系列 MySQL 5.7高可用系列（本地...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
概述
PolarDB-X 结合ADB提供了库仓一站式的能力，基于“Zero-ETL”的设计理念，采用共享同一份列存索引的数据，基于ADB的数据仓库能力可以满足多方的数据汇总和数据关联查询，提供传统意义上的数仓和湖的分析。同时，针对在线数据的并发查询可以...
公告
新增支持OpenGauss数据源、SAP Table数据源、StarRocks数据源、Hudi数据源、Doris数据源、Greenplum数据源。资产质量新增跨源两表字段统计值一致性的质量规则模板，用于跨数据源的数据对比；有效性/字段格式校验的规则模板增加like表达式；...
风险识别管理（新版）
具体如下：易用性好 包含 数据访问风险、数据导出风险、数据操作风险、其他风险类型 等4类风险类型，并支持 访问时间、敏感类型、访问量 等多种维度组合识别各类风险。精准度高 增加事件聚合统计比较，通过比较时间窗口内事件发生次数的...
MySQL实例间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
创建数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
创建数据源质量规则
Dataphin支持对数据源的连通性和表结构异动进行监测。质量规则定时检测数据源的连通性或数据结构异动，并支持设置异常告警信息，帮助您实时了解数据源连通性和表结构的状况。本文为您介绍如何配置数据源的质量规则。前提条件 已经添加监控...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
自建Oracle迁移至PolarDB-X
说明 如果未选择 增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中...
从RDS MySQL迁移至自建MySQL
说明 如果未选中 增量数据迁移，为保障数据一致性，数据迁移期间请勿在源库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动至 已选择对象 框。说明 迁移对象选择的粒度为库、表、列。默认情况下，迁移...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
基于Delta Table构建近实时增全量一体化链路实践
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前典型的数据...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
MaxCompute表数据
包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。前提条件 已绑定MaxCompute引擎至当前工作空间，绑定后DataWorks会面向引擎自动采集元数据，...
核心概念
数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至...
从RDS MariaDB迁移至RDS MySQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS MySQL迁移至PolarDB MySQL版
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS MariaDB迁移至RDS MySQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB MySQL版集群间的数据迁移
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB MySQL版间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
创建全域数据表质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
非结构化数据向量检索
Lindorm向量索引旨在帮助您实现非结构化数据的检索分析。您可以通过AI算法提取非结构化数据的特征，并利用特征向量唯一标识非结构化数据。这些向量数据可以被Lindorm高性能地存储和检索。同时，Lindorm也支持向量数据与标量数据的混合检索...
PolarDB MySQL版间的双向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB PostgreSQL版（兼容Oracle）集群间的数据迁移
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
回收表碎片空间
重要 回收大容量表的碎片空间时，可能需要临时存储数据的副本或其他，这可能会导致额外的空间需求。如果空间不足，可能会导致回收碎片空间失败或者实例被锁定。DMS是通过无锁结构变更对该表进行一次DDL变更来实现回收表碎片空间。所有DDL...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
基础数据类型
本文介绍 云原生数据仓库AnalyticDB MySQL版 支持哪些数据类型以及与MySQL数据类型的差异对比。AnalyticDB MySQL支持的基础数据类型 类型 数据类型 说明 与MySQL数据类型差异 数值类型 boolean 布尔类型 值只能是 0 或 1，存储字节数1比特...
时序异常检测
例如新插入的时序数据有一个非常大的尖刺，检测结果可能为异常。时序异常检测搭配 SAMPLE BY 语句可以实现以下功能：搭配 SAMPLE BY 0 子句，针对每条时间线上的数据逐点检测。使用示例，请参见 示例一、示例二 和 示例三。在 SAMPLE BY ...
跨地域灾备
当您需要保证MaxCompute作业持续运行时，MaxCompute提供跨地域（Region）灾备功能，支持以项目（Project）为单位远程备份数据和元数据，确保备份地点与数据源的地理距离超过一百公里，以提升数据安全性。您能够自定义选择备份目标地域，并...
- 产品推荐
- 这些文档可能帮助您