SQL备份与回滚（公测中）
两个功能的差异如下：对比项 数据追踪 SQL备份与回滚 功能使用 需要提交数据追踪工单，配置时间范围、表名、操作类型等工单参数。无需进行额外的工单配置。仅需在执行SQL时，开启备份，待获取备份数据后，直接在SQL Console执行即可。回滚...
批量上传质量规则
参数 描述 校验结果 可查看校验结果的总条数、校验成功条数、校验失败条数（包括表、字段、数据分类）、重复数据-与线上重复的条数、重复数据-本次上传的重复条数。下载校验结果 支持全量下载本次上传并携带校验结果的文件。存在校验失败 ...
批量上传质量规则
参数 描述 校验结果 可查看校验结果的总条数、校验成功条数、校验失败条数（包括表、字段、数据分类）、重复数据-与线上重复的条数、重复数据-本次上传的重复条数。下载校验结果 支持全量下载本次上传并携带校验结果的文件。存在校验失败 ...
查看并管理已提交实例
已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页，单击顶部...
查看并管理已提交实例
已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页，单击顶部...
敏感数据溯源
建议您使用数据量大于500条，并且不包含重复数据的文件进行溯源。原因二：被泄漏的数据非本租户名下的数据。解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您...
接口说明
其中，Result对象表示SQL的执行结果，比如提交数据库的列表语句（"SHOW DATABASES"）后，可以通过Result获取到已经存在的数据库列表。Result对象有columns、metadata、rows等3个字段，其中，columns为结果的列名集合，metadata为对应列的...
常见问题
Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：...
应用场景
存储成本低：重复数据删除技术大幅降低您的备份数据存储成本。存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。异地备份 互联网金融、银行、保险等行业的数据库除同城备份外，...
查看并管理已生成实例
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层，如下图所示。区域 描述 ① ...
观远BI连接MaxCompute
如果选择Guan-index，可以设置一个去重主键，去除重复数据。缓存有效周期 手工更新：需要用户在新建卡片后手动进行数据刷新。每天：可以设置每天更新时间点，可以精确到时分级别。每周：可以设置每周几进行更新，可以精确到时分级别。每月...
查看并管理已生成实例
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层，如下图所示。区域 描述 ① ...
阶段三：数据安全持续运营
提交数据集成任务 禁止将高安全级别区域的数据源置为源端，将低安全级别的数据源置为目的端。禁止将贴源层数据源置为源端，将非贴源层数据源置为目的端。禁止将境内数据源置为源端，将境外数据源置为目的端。（1）事后告警（2）事中拦截（1...
Redis企业版实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步作业的配置流程。本文通过控制台来完成配置，您也可以通过调用OpenAPI来完成配置，详情请参见 ...
Redis企业版实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步作业的配置流程。本文通过控制台来完成配置，您也可以通过调用OpenAPI来完成配置，详情请参见 ...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
大版本升级常见问题
源实例无主键表校验 源PolarDB集群存在没有主键的表，同步数据后可能会导致目标数据库中出现重复数据。您可以通过在源PolarDB集群上通过高权限账号连接数据库，并执行如下SQL，查询没有主键的表：SELECT t1.table_schema,t1.table_name ...
修饰词
导入并提交：导入数据，并将最新导入的数据提交一个新的版本。批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页签，您可查看导入结果详情。单击详情列表修饰词后的 更多...
TSDBConfig
int getBatchPutTimeLimit()获取最大写数据提交限制。单位：毫秒 int getHttpConnectionLiveTime()获取连接的生命时长。单位：秒 int getHttpConnectionPool()获取连接池最大连接数量 int getHttpConnectTimeout()获取HTTP连接超时时间，...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
从Amazon RDS SQL Server全量迁移至阿里云
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。如果待迁移数据库名称不符合阿里云RDS的定义规范，您需要在配置迁移任务之前在阿里云RDS SQL Server中创建数据库。说明 关于阿里云...
从Amazon RDS for PostgreSQL全量迁移至阿里云
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，导致源...
从Amazon Aurora PostgreSQL迁移至阿里云
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，导致源...
数据变更最佳实践
写入报错时，需要做重试确保数据被写入，重试导致的数据重复可以通过表的主键来消除。更新数据 AnalyticDB MySQL版 提供多种数据更新方式，建议如下：数据更新频率高、基于主键的行级覆盖更新且应用可以补齐所有列，可通过 REPLACE INTO ...
修改同步或迁移实例的当前位点
如果您指定的位点早于当前增量写入的位点，则此时间段内的数据变更将会在目标端重复执行一次，重复执行INSERT和DDL操作时可能会造成数据重复的冲突，请谨慎操作。如果实例处于暂停状态，修改位点后实例将会自动启动。注意事项 Tair/Redis ...
OpenAPI列表
QueryOperationSubmitStatus 海量模式补数据之后，查询补数据提交的状态（从版本295-2开始支持）。ResumePhysicalNode 恢复物理节点调度，暂时仅支持离线代码任务及集成任务。RunManualNode 运行手工节点（从版本295-2开始支持）。会生成...
新功能发布记录
数据水印 权限模板 新增 权限模板支持对具有相同业务属性的实例、库、表等进行统一管理，然后批量授权给用户，解决由于用户和数据库数量较多、搜索不便，导致不易寻找到目标和数据库重复授权的问题。创建权限模板 06月 功能名称 变更类型 ...
度量报表
重要 总体数据将汇总仓库所有提交进行统计，但是由于 Git 操作非常灵活，理论上存在一些情况，会使 Git 将相同的代码片段改动放在了不同的 Commit 中，导致的数据重复统计，例如：提交 amend rebase 修改内容或者修改 commit message ...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
如果是数据写入有问题，可以重复提交或者记录下有问题的数据后跳过。很多时候写入线程并不是越多越好，因为业务程序会涉及到攒数据的场景，所以对内存的消耗比较明显，业务调用方一定要多关注应用程序的GC情况。数据攒批数量不要太小，如果...
基于Client SDK数据写入
针对Client抛出的异常，调用方要根据错误码的意义自行判断如何处理，如果是数据写入有问题，可以重复提交或者记录下有问题的数据后跳过。很多时候写入线程并不是越多越好，因为业务程序会涉及到攒数据的场景，对内存的消耗是比较明显的，...
如何创建/添加表单
2.6提交数据 ① 在会员中心展示/隐藏表单提交数据（我的表单）管理员可设置是否在会员中心展示已填写表单的查看入口（电脑端/手机端查看）；选择“开启”，会员填写表单并提交后，可以在【会员中心-我的表单】中查看自己填写的表单（如下图...
事务隔离
事务隔离级别 隔离级别 脏读 不可重复读 幻读 序列化异常 读未提交 允许，但不在 PG 中 可能 可能 可能 读已提交 不可能 可能 可能 可能 可重复读 不可能 不可能 允许，但不在 PG 中 可能 可序列化 不可能 不可能 不可能 不可能 在本数据库...
数据去重
用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，...
提交并发布模型
提交模型至开发环境计算引擎 保存数据模型后，DataWorks开发角色需要先提交数据模型至开发环境计算引擎。测试无误后，再发布至生产环境。进入 数据开发 页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中...
配置DataHub输出组件
说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条，超出10000条会导致任务出错，建议将batchSize设置为小于或等于10000条，避免任务...
配置DataHub输出组件
说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条，超出10000条会导致任务出错，建议将batchSize设置为小于或等于10000条，避免任务...
重复列表
步骤五：配置样式模板的数据源 需手动将重复列表组件的数据源绑定到样式模板的各个组件，才能展示重复列表数据源的各项数据。分别单击样式模板中的组件，例如图片组件，在右侧 样式 页面，单击 上传图片 右侧的配置数据源按钮，进入数据源...
层次调用规范
如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据...
层次调用规范
如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据的建设需求，将公用的数据沉淀到公共层，为其他数据层次提供数据服务。同时，ADS应用层也需积极配合CDM中间层进行持续的数据...
添加体验空间数据库
说明 数据表名称不支持重复。数据表创建规范：长度不超过63个字符，由小写字母、数字和下划线构成，且必须由小写字母开头。等待数据导入完成后，单击 完成，系统将自动跳转至数据表详情页。查看已上传数据表详情，包括但不限于数据地图、...
- 产品推荐
- 这些文档可能帮助您