数据扫描和识别
DSC 扫描数据库类型和数据表类型数据源中的字段名称和字段值，同时根据字段名称和值综合判断该数据是否为敏感数据。例如：年龄数据。如果只通过字段值无法判断数据是否敏感，DSC 会结合数据源列中的字段名称和对应的数值来综合判断。首次...
常见问题
数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据资产授权后，采用内置的检测规则在RDS或OSS数据库中...
从自建Redis迁移至MyBase Redis
目标已存在表的处理模式 预检查并报错拦截：检查目标库对象数据是否为空。如果目标库中没有数据（Key），则通过该检查项目；如果目标库中有数据，则在预检查阶段提示错误，数据迁移任务不会被启动。忽略报错并继续执行：跳过目标库对象数据...
RDS增量数据同步至MaxCompute
数据中的时间字段 optime 用来表示该数据的修改时间，从而判断这条数据是否为增量数据。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量...
RDS增量数据同步至MaxCompute
数据中的时间字段 optime 用来表示该数据的修改时间，从而判断这条数据是否为增量数据。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量...
A100售后支持相关问题
单个数据库是否为RAM用户授权，不影响该RAM用户使用数据库审计服务。数据库审计A100是否支持云数据库PolarDB？支持。目前A100支持云数据库PolarDB，您可以根据数据库引擎选择数据库类型进行相应配置。在CentOS中删除Agent是指删除/usr/...
空间管理
是否系统库 数据库是否为SQL Server的系统数据库。单击表格最左侧+按钮，系统将会展开对应数据库，可以查看数据库文件详情。详细参数说明如下。参数 说明 数据库名 数据库的名称。文件组 文件所在的文件组名。说明 日志文件没有文件组，...
空间管理
是否系统库 数据库是否为SQL Server的系统数据库。单击表格最左侧+按钮，系统将会展开对应数据库，可以查看数据库文件详情。详细参数说明如下。表 4.TOP 10数据库文件参数说明 参数 说明 数据库名 数据库的名称。文件组 文件所在的文件组名...
C100售后支持相关问题
单个数据库是否为RAM用户授权，不影响该RAM用户使用数据库审计服务。如何选择数据库审计版本？数据库审计服务按照能够接入审计的数据库的数量划分不同的版本。在购买时，您需要根据计划接入审计的数据库的数量选择合适的版本。例如，若需要...
Oracle数据源
准备工作1：确认Oracle数据库版本 不同同步场景下支持的Oracle数据库版本不一致，同步前您需要检查Oracle数据库版本是否为支持的版本。您可以通过如下任意语句查看Oracle数据库的版本。语句一：select*from v$version;语句二：select ...
常见报错
报错概览 配置备份计划时常见报错 源库测试连接失败 备份恢复预检查时常见报错 源库连接性检查失败 数据库权限检查失败 OSS检查失败 源库binlog开启检查失败 源库binlog模式检查失败 源库binlog_row_image是否为FULL检查失败 源库server_id...
REPLACE SELECT FROM
写入数据时，根据主键判断待写入的数据是否已经存在于表中，如果已经存在，则先删除该行数据，然后插入新的数据；如果不存在，则直接插入新数据。语法 REPLACE INTO table_name[(column_name,.)]query;参数 query：可以是 SELECT FROM ...
REPLACE INTO
写入数据时，会先根据主键判断待写入的数据是否已经存在于表中，并根据判断结果选择不同的方式写入数据：如果待写入数据已经存在，则先删除该行数据，然后插入新的数据。如果待写入数据不存在，则直接插入新数据。说明 本文所指的主键既...
DeleteDrdsDB
该接口只是提交了删除数据库的任务，接入方需要依据DescribeDrds接口（查询数据库信息的接口）的返回结果来判断分布式数据库是否删除成功。请求参数 参数名 类型 是否必须 描述 Action String 是 系统规定参数，取值：DeleteDrdsDB。DbName...
自动故障转移和读写分离
使用PostgreSQL的libpq或JDBC，您可以通过简单的配置实现自动故障转移（failover）和读写...如果需要判断数据源类型，您可以结合pg_is_in_recovery()函数，判断连接的数据库是主实例数据库的还是只读实例数据库，最终实现读写分离和故障转移。
时序异常检测
threshold DOUBLE[0，Double.MAX_VALUE]取值为判断阈值，用于判断当前数据点是否异常。当anomalyScore取值大于threshold的取值时，当前数据点异常；anomalyScore取值小于threshold的取值时，当前数据点正常。mean DOUBLE DOUBLE类型的全部...
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
导出结构和数据
CSV 设置 选择导出 CSV 格式且 导出内容 为导出结构和数据时，可指定以下信息：包含列头：该项默认勾选，选择导出数据为 CSV 格式时是否包含列头。空字符串转为空值：该项默认勾选，选择导出数据为 CSV 格式时是否将表中的空字符串转换为...
错误检查
dataSourceSort='dataSourceSort',/判断数据库数据源 排序字段配置不对 checkDatasourceSort='checkDatasourceSort',/判断数据库数据源 范围字段配置不对 checkDatasourceRange='checkDatasourceRange',/判断数据库数据源 过滤字段配置不对...
数字类型
为了允许 numeric 值可以被排序和使用基于树的索引，本数据库把 NaN 值视为相等，并且比所有非 NaN 值都要大。类型 decimal 和 numeric 是等效的。两种类型都是 SQL 标准的一部分。在对值进行圆整时，numeric 类型会圆到远离零的整数，而...
SQL结果集导出
数据管理DMS 支持导出SQL结果集，您可以在DMS中按需编写查询的SQL语句，提取并导出相关数据。前提条件 数据库类型如下：数据库类型 关系型数据库：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL ...
同步Redis后出现数据不一致
如下图：可能原因 单靠 info keyspace 的 expires 来判断数据是否一致会出现偏差。其统计信息的统计值不是精确值，有一定的误差。info keyspace 的输出结果中：keys 表示所有keys的数据量。expires 表示带有过期keys的数据量，包含未过期和...
Reserve参数说明
在调用部分接口配置或查询迁移或同步、订阅任务时，您需要配置或查询预留参数Reserve（数据类型为字符串String，传入格式为JSON）来完善或查看源或目标实例的配置信息（比如目标Kafka集群的数据存储格式、云企业网CEN的实例ID）。...
ISNAN
判断表达式的值是否为 NaN，如果值为 NaN，返回True，否则返回False。命令格式 boolean isnan()参数说明 expr：必填。DOUBLE类型。输入为STRING、BIGINT、DECIMAL类型时，会隐式转换为DOUBLE类型后参与运算。返回值说明 如果 expr 的值为 ...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
DataCheckConfigure参数说明
fullCheckFixData Boolean 是否补齐数据，取值为 true 或 false，默认值为 false。说明 当取值为 true 时，若目标库有跟原库不一致的数据，则会用源库的数据值替换目标库的数据值。fullCheckRatio Integer 全量数据校验任务的抽样比例。...
常见问题
删除增量同步任务源库中的数据，目标库中已同步的数据是否会删除？若增量同步任务所需同步的DML操作没有勾选 delete，则目标库中数据不会被删除，否则目标库中已同步的数据会被删除。Redis间的同步，目标Redis实例的数据会被覆盖么 相同Key...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
SQL其他常见问题
如何判断一个字段是否为空？是否可以通过DataWorks的Shell节点调取MaxCompute SQL？如何在SQL中实现循环？如何在SQL中调用赋值节点？SQL作业查看 如何查看MaxCompute日执行的所有SQL？如何查看SQL作业消耗的资源量？如何查看SQL执行费用？...
使用DTS迁移Redis
为什么会检查Redis逐出策略是否为 noeviction？由于 云数据库Redis版 的默认数据逐出策略（maxmemory-policy）为 volatile-lru，若目标数据库内存不足，触发数据逐出会导致目标库与源库数据不一致的情况，但不会影响任务的正常运行。为避免...
云数据库Redis实例间单向数据迁移
如果您需要将一个 云数据库 Redis 版 实例的数据迁移到另一个 云数据库 Redis 版 实例中，且您未创建新实例，推荐您通过 备份集克隆、数据闪回功能 将数据克隆至新实例，若您已创建新实例，建议您通过数据传输服务DTS（Data Transmission ...
配置学区地图Tab列表交互
连线完成后，每条连线中间会自动添加一个 串行数据处理 节点，将节点分别命名为 小学位置判断 和 初中位置判断。具体操作方法请参见 什么是蓝图编辑器。转换器添加完成的效果如下图所示。配置 串行数据处理 节点。右键单击名称为 小学位置...
配置学区地图Tab列表交互
连线完成后，每条连线中间会自动添加一个 串行数据处理 节点，将节点分别命名为 小学位置判断 和 初中位置判断。具体操作方法请参见 配置蓝图编辑器。转换器添加完成的效果如下图所示。配置 串行数据处理 节点。右键单击名称为 小学位置...
何时选择平滑扩容
判断是否需要扩容主要关注 数据空间 即可。当数据空间将要或预期要超出磁盘容量时，可以通过扩容的方式将数据分散到多个RDS。扩容风险及注意事项 PolarDB-X 1.0 扩容流程分为 配置>迁移>切换>清理 四个步骤。在扩容前请注意以下事项：如果...
如何快速定位及解决数据库问题
数据库问题快速处置 在通过上述方法判断数据库存在瓶颈之后，推荐依次使用以下方法进行快速恢复。方法一：KILL所有语句 如果Processlist中显示堆积了很多SQL，建议立即KILL掉所有正在执行的语句，PolarDB-X 提供了如下指令进行这个操作：...
数据服务
本文为您汇总数据服务的相关问题。为什么数据服务无法连接ECS自建的数据库？是否必须开通API网关？如何配置数据源？数据服务是否支持MaxCompute（ODPS）数据源？向导模式生成API与脚本模式有何功能差异？数据服务中的API分组的作用是什么，...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据下载配置
Dataphin支持业务数据下载，您可对项目级数据是否可下载进行配置；数据在下载后脱离系统的管控，您可设置水印，以提醒注意数据安全，避免随意分享。本文为您介绍如何配置数据下载策略及水印。权限说明 仅支持安全管理员对数据下载策略执行...
数据脱敏
重要 在判定数据列是否为敏感列时，优先使用排除的规则进行判断，其次使用匹配的规则。脱敏算法 是 识别出的敏感列默认使用的脱敏算法。规则描述 否 识别规则的描述。正则：以敏感列所属的库名、表名、列名和列备注作为识别对象，填写正则...
- 产品推荐
- 这些文档可能帮助您