文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
配置Hologres输入组件
如果Hologres数据源中还没有数据表，则需要提前创建数据表。具体操作，请参见 表。输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如，ID>112。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至...
配置Hologres输出组件
如果Hologres数据源中还没有数据表，则需要提前创建数据表。具体操作，请参见 表。写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：Hologres 0.8版本推荐选择SDK模式。...
配置MaxCompute输出组件
如果Hive数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置MaxCompute输出组件
如果Hive数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置Hive输出组件
如果Hive数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置AnalyticDB for PostgreSQL输出组件
如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 一键生成目标表。Dataphin会自动为您匹配创建表的代码，包括目标表名称（默认为来源表名）、字段类型（字段进行了初步的转换）等...
数据页面管理
说明 如果遥感影像识别对话框中没有数据，请先在“我的数据-栅格”中上传Tiff文件。上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三...
数据页面管理
说明 如果遥感影像识别对话框中没有数据，请先在“我的数据-栅格”中上传Tiff文件。上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三...
配置TDH Inceptor输出组件
如果TDH Inceptor数据源中没有数据同步的目标表，则您可以通过 一键生成目标表 的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、...
配置AnalyticDB for MySQL 3.0输出组件
如果MySQL数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置Greenplum输出组件
如果Greenplum数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速地生成目标表。操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型（基于...
配置AnalyticDB for PostgreSQL输出组件
如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 一键生成目标表。Dataphin会自动为您匹配创建表的代码，包括目标表名称（默认为来源表名）、字段类型（字段进行了初步的转换）等...
配置Greenplum输出组件
如果Greenplum数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速地生成目标表。操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型（基于...
配置MySQL输出组件
如果MySQL数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置MySQL输出组件
如果MySQL数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
配置AnalyticDB for MySQL 3.0输出组件
如果MySQL数据源中没有数据同步的目标表，则您可以通过一键生成目标表的功能，简单快速的生成目标表。详细的操作步骤如下：单击 一键生成目标表。Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型...
离线同步数据质量排查
数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有数据没有发生数据约束，数据库则将来源数据插入（和insert into行为限制一致）至目标存储...
管理迭代
如果项目可选数据库列表内没有数据库，则租户下所有的数据库都可以被选择。描述 填写迭代描述，便于后期管理。新建工单 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 数据库开发>研发空间>DevOps。单击 迭代 页签。单击目标迭代名称，进入 ...
缓存数据持久化
python3 test.py 首次运行，由于Redis缓存中没有数据，从RDS MySQL中读取，返回结果示例：Redis中未查询到数据，从RDS MySQL查询到数据：((1,'Zhangsan'),(2,'Lisi'),(3,'Wangwu'))再次运行时，由于第一次查询后已将查询数据缓存至Redis中...
MySQL实例间的双向同步
重要 当目标RDS实例的数据库类型为 MySQL 5.5 或 MySQL 5.6 时，没有 数据库账号 和 数据库密码 配置选项。数据库密码 填入数据库账号对应的密码。连接方式 根据需求选择 非加密连接 或 SSL安全连接。如果设置为 SSL安全连接，您需要提前...
数据倾斜诊断
不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，从而导致了数据的倾斜。查看数据倾斜 智能诊断功能的诊断信息存储在 adbpg_toolkit.diag...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
从自建Redis迁移至MyBase Redis
如果目标库中没有数据（Key），则通过该检查项目；如果目标库中有数据，则在预检查阶段提示错误，数据迁移任务不会被启动。忽略报错并继续执行：跳过目标库对象数据存在性检查项。警告 选择为 忽略报错并继续执行，如果目标库中有与源库...
限制说明
使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版作为数据库缓存的效果不明显。在选择缓存时，需要充分考虑到业务模式对数据访问的要求。数据删除...
精模
刷新数据：在数据面板内可以单击下方 刷新数据，针对在空间构建里数据发生变更后，精模组件的数据没有变化，对数据进行刷新。蓝图交互 在当前场景编辑器页面，单击左侧图层列表中 精模 右侧的 图标。单击页面左上角的 图标。在蓝图编辑器...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
精模
刷新数据：在数据面板内可以单击下方 刷新数据，针对在空间构建里数据发生变更后，精模组件的数据没有变化，对数据进行刷新。蓝图编辑器交互配置 在当前场景编辑器页面，单击左侧图层列表中 精模 右侧的 图标。单击页面左上角的 图标。在...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可以单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
基本概念
但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并创建金字塔。坐标系统 Ganos Raster支持OGC CRS标准定义的坐标系统。用户可以按照EPSG坐标参照系统参数来定义栅格数据所...
同步时源库为PolarDB MySQL版的注意事项及限制
对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
RDS MySQL实例间的单向同步
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
从ECS上的自建MySQL同步至RDS
如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management Service）来执行在线DDL变更，详情请参见 不锁表结构变更。警告 如果有除DTS外的数据写入目标库，请勿使用DMS执行在线DDL变更，否则可能引起目标库数据丢失。...
从ECS上的自建MySQL同步至RDS
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
常见问题概览
数据库没有数据Owner时如何处理 数据变更 SQLConsole页面执行SQL语句超时中断解决方案 DMS控制台中执行数据变更任务时提示“Duplicate column name 'XXXXX'”使用新版DMS控制台进行变更时提示“Duplicate entry:XXXX”数据库返回“Row size...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
- 产品推荐
- 这些文档可能帮助您