文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
配置Hologres输出组件
如果Hologres数据源中还没有数据表，则需要提前创建数据表。具体操作，请参见 表。写入模式 源数据源的数据写入目标数据源（Hologres数据源）的模式。写入模式包括SDK模式和SQL模式，适用场景说明如下：Hologres 0.8版本推荐选择SDK模式。...
常见问题概览
数据库没有数据Owner时如何处理 数据变更 SQLConsole页面执行SQL语句超时中断解决方案 DMS控制台中执行数据变更任务时提示“Duplicate column name 'XXXXX'”使用新版DMS控制台进行变更时提示“Duplicate entry:XXXX”数据库返回“Row size...
数据页面管理
说明 如果遥感影像识别对话框中没有数据，请先在“我的数据-栅格”中上传Tiff文件。上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三...
数据页面管理
说明 如果遥感影像识别对话框中没有数据，请先在“我的数据-栅格”中上传Tiff文件。上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三...
离线同步数据质量排查
数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有数据没有发生数据约束，数据库则将来源数据插入（和insert into行为限制一致）至目标存储...
管理迭代
如果项目可选数据库列表内没有数据库，则租户下所有的数据库都可以被选择。描述 填写迭代描述，便于后期管理。新建工单 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 数据库开发>研发空间>DevOps。单击 迭代 页签。单击目标迭代名称，进入 ...
缓存数据持久化
python3 test.py 首次运行，由于Redis缓存中没有数据，从RDS MySQL中读取，返回结果示例：Redis中未查询到数据，从RDS MySQL查询到数据：((1,'Zhangsan'),(2,'Lisi'),(3,'Wangwu'))再次运行时，由于第一次查询后已将查询数据缓存至Redis中...
数据倾斜诊断
不恰当的分布键 上图示例中，选择了gender字段作为分布键，由于gender字段只有true和false两个值，导致仅有两个计算节点上有数据，其他节点没有数据，从而导致了数据的倾斜。查看数据倾斜 智能诊断功能的诊断信息存储在 adbpg_toolkit.diag...
MySQL实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间（比如RDS MySQL、自建MySQL）的双向数据实时同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文以RDS MySQL实例为例，介绍双向数据同步的配置步骤，...
申请、续期和交还表权限
按照密级选择：勾选后，按照最高密级更新下方的勾选字段（没有数据分级代表-，也会被勾选上）。权限类型：根据表类型不同，申请的权限也不同。详细说明如下：表类型为 逻辑视图、物理视图、建模逻辑表 和 标签逻辑表：默认选择为 查表数据...
申请、续期和交还表权限
按照密级选择：勾选后，按照最高密级更新下方的勾选字段（没有数据分级代表-，也会被勾选上）。权限类型：根据表类型不同，申请的权限也不同。详细说明如下：表类型为 逻辑视图、物理视图、建模逻辑表 和 标签逻辑表：默认选择为 查表数据...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
数据脱敏
源表列为空 源分区字段的列没有数据。写入目标表失败 目标位置配置时写入目标表失败。从源表查询失败 源表中未查询到该数据。创建目标表失败 目标位置中可能不存在该表格。找不到主键 RDS源表缺少主键。有关主键的更多信息，请参见 RDS ...
从自建Redis迁移至MyBase Redis
如果目标库中没有数据（Key），则通过该检查项目；如果目标库中有数据，则在预检查阶段提示错误，数据迁移任务不会被启动。忽略报错并继续执行：跳过目标库对象数据存在性检查项。警告 选择为 忽略报错并继续执行，如果目标库中有与源库...
限制说明
使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版作为数据库缓存的效果不明显。在选择缓存时，需要充分考虑到业务模式对数据访问的要求。数据删除...
精模
刷新数据：在数据面板内可以单击下方 刷新数据，针对在空间构建里数据发生变更后，精模组件的数据没有变化，对数据进行刷新。蓝图交互 在当前场景编辑器页面，单击左侧图层列表中 精模 右侧的 图标。单击页面左上角的 图标。在蓝图编辑器...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
精模
刷新数据：在数据面板内可以单击下方 刷新数据，针对在空间构建里数据发生变更后，精模组件的数据没有变化，对数据进行刷新。蓝图编辑器交互配置 在当前场景编辑器页面，单击左侧图层列表中 精模 右侧的 图标。单击页面左上角的 图标。在...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可以单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
基本概念
但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并创建金字塔。坐标系统 Ganos Raster支持OGC CRS标准定义的坐标系统。用户可以按照EPSG坐标参照系统参数来定义栅格数据所...
同步时源库为PolarDB MySQL版的注意事项及限制
对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
从ECS上的自建MySQL同步至RDS
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
常见问题
DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对数据进行高效压缩，所以数据量最多可降低为旧版的30%，从而极大降低了存储成本。如何查看企业...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
外部数据
一个外部表可以在查询中像一个普通表一样地使用，但是在本地数据库服务器中外部表没有存储数据。不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
数据库代理常见问题
如果您在使用RDS MySQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
计费项
常见问题 为什么没有传输数据的按量付费实例还在收费？按量付费的DTS实例在增量任务运行期间，将按照实际资源使用情况进行计费，与源端数据是否发生变更无关。建议您在完成数据传输后，尽快结束或释放实例。具体操作，请参见 结束DTS实例 ...
冷数据归档常见问题
为什么PolarDB控制台导航栏中没有冷数据归档这个菜单？申请开启冷数据归档功能成功后，会有一定的延迟，等待几分钟刷新页面后即可出现冷数据归档菜单。冷数据文件的格式是什么？目前支持CSV、IBD 和ORC格式。如何判断当前表或分区是否归档...
数据保护机制
在实际业务处理过程中，用户可能会同时具备多个项目的访问权限，此时会存在数据在项目间流转的安全问题。MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制...
- 产品推荐
- 这些文档可能帮助您