创建实时元表规则
校验配置 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
数据传输的审计事件
数据传输已与操作审计服务集成，您可以在操作审计中查询用户操作数据传输产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
创建实时元表规则
校验配置 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
数据追踪
基本概念 检测点 当一个数据追踪工单被提交时，系统会校验该工单是否符合检测点的相关规则。基础配置项：配置 数据追踪默认审批模板，当 审批规则校验 中未配置审批流程时，系统会采用此默认的审批模板。您可以更改默认审批模板的审批流程...
迁移时源库为PolarDB-X 2.0的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
迁移时源库为PolarDB MySQL版的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
DataHub成本节省攻略
2、序列化改造 DataHub因为在设计上是存在TUPLE这种强schema结构的，我们最初为了防止脏数据，在服务端校验了数据的有效性，这就导致了需要在服务端解析出来完整的数据，然后根据schema做个校验，如果类型不匹配，那么会返回错误。...
敏感数据溯源
建议您使用数据量大于500条，并且不包含重复数据的文件进行溯源。原因二：被泄漏的数据非本租户名下的数据。解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您...
同步时源库为MySQL的注意事项及限制
MySQL同步至PolarDB MySQL版 MySQL单向同步至PolarDB MySQL版 类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单...
CreateProduct
只校验设备数据的idetifier和dataType字段，不校验其他字段，可流转全量数据。校验通过的数据展示在物联网平台控制台对应设备的 设备详情 页 物模型数据 页签。校验不通过的数据则不展示。通过流转数据中的参数 checkFailedData，可查看...
【通知】2024年01月02日数据校验任务开始计费
数据传输服务DTS（Data Transmission Service）数据校验功能的优惠活动将于2024年01月02日截止，届时运行中的全量和增量校验任务将开始计费。请您及时关注校验任务的状态，以避免产生额外的费用。变更时间 2024年01月02日 00:00:00 变更...
查询校验报告的下载地址
以不一致数据为维度的列表数据的下载连接 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
迁移时源库为MySQL的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
编辑器代码提效
使用限制 各类型计算引擎所支持的代码提效功能不同，代码提效所支持的计算引擎和功能项详情见下表：计算引擎 表提示 表字段提示 函数提示 权限校验 数据源编码提示 离线计算引擎 支持 支持 支持 支持-实时计算引擎（Flink）支持 支持 支持 ...
编辑器代码提效
使用限制 各类型计算引擎所支持的代码提效功能不同，代码提效所支持的计算引擎和功能项详情见下表：计算引擎 表提示 表字段提示 函数提示 权限校验 数据源编码提示 离线计算引擎 支持 支持 支持 支持-实时计算引擎（Flink）支持 支持 支持 ...
创建产品
若产品的 数据格式 为 透传/自定义，该产品下设备与物联网平台进行物模型数据通信时，物联网平台会先调用数据解析脚本，将上报的透传或自定义格式数据转换为Alink JSON格式，然后进行数据校验。弱校验：仅校验设备上报数据中的identifier和...
同步时源库为MongoDB的注意事项及限制
待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为集合级别，且需进行编辑（如集合的名称映射），则单次同步任务仅支持同步至多1000张集合。当超出数量限制，任务提交后会显示...
DML操作常见问题
如果表数据量较大，如何删除非分区表中的重复数据？执行INSERT操作过程中出现错误，会损坏原有数据吗？不会损坏原有数据。MaxCompute满足原子性，INSERT操作执行成功则更新数据，INSERT操作执行失败则回滚数据。执行INSERT INTO或INSERT ...
数据校验
OSS提供基于MD5和CRC64的数据校验，确保上传、下载和拷贝文件（Object）过程中的数据完整性。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region...
迁移时源库为MongoDB的注意事项及限制
待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制，任务提交后会显示...
单元格填报
写入校验 您可以添加数据校验，保证数据填入的质量。填写校验规则逻辑表达式，可以使用表格函数和引用填报字段（格式“[填报字段名]”），比如[订单金额]-[成本]>0，并填写报错文案。点击 添加 新增校验规则，点击 删除该校验规则。填报...
应用场景
存储成本低：重复数据删除技术大幅降低您的备份数据存储成本。存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。异地备份 互联网金融、银行、保险等行业的数据库除同城备份外，...
BigQuery数据迁移至MaxCompute
本文为您介绍如何通过公网环境将谷歌云GCP（Google Cloud Platform）的BigQuery数据集迁移至阿里云MaxCompute。前提条件 类别 平台 要求 参考文档 环境及数据 谷歌云GCP 已开通谷歌BigQuery服务，并准备好环境及待迁移的数据集。已开通谷歌...
表格填报
您可以 添加 和 删除 字段映射行 写入校验 您可以添加数据校验，保证数据填入的质量。填写校验规则逻辑表达式，可以使用表格函数和引用填报字段（格式“[填报字段名]”），比如[订单金额]-[成本]>0，并填写报错文案。点击 添加 新增校验...
GetQualityRule
调用GetQualityRule获取校验规则的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
查看数据迁移项目的详情
全量校验 在全量数据迁移完成，增量数据迁移至目标端并与源端基本追平后，数据传输会自动发起一轮针对源库配置的数据表和目标表的全量数据校验任务。增量数据同步过程中，您也可以发起自定义的数据检验，数据传输会提供相应的接口。您可以...
观远BI连接MaxCompute
如果选择Guan-index，可以设置一个去重主键，去除重复数据。缓存有效周期 手工更新：需要用户在新建卡片后手动进行数据刷新。每天：可以设置每天更新时间点，可以精确到时分级别。每周：可以设置每周几进行更新，可以精确到时分级别。每月...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
OSS MD5一致性校验说明
但是ETag不一定等同于文件的MD5值，所以不建议作为校验数据一致性的依据。如果需要校验上传到OSS的文件和本地文件是否一致，可以在上传文件时携带文件的Content-MD5值。OSS会在接收文件时，将文件的MD5值和Content-MD5进行比对，两者一致时...
数据集填报
配置效果 如下图保险数据录入表所示，职业类别、性别、时间、险类1名称、保费、年达成率、保单数 均为数据集字段加载的数据，通过配置填报的形式，可以将数据集表格和填报结合，针对数据集中需要修改的数据，可以快速填报录入，如 保费、年...
同步时源库为SQL Server的注意事项及限制
RDS SQL Server同步至DataHub SQL Server间的同步 具体注意事项及限制如下：类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名...
计费方式
按量付费 数据迁移实例 数据订阅实例 数据同步实例 数据校验任务 也称为后付费，即每小时生成一个收费订单，并按照生成订单时的实例规格从阿里云账号扣费。说明 当DTS任务涉及的源或目标库到期锁定时，DTS仍然可以正常连接源库和目标库，...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果表既没有主键也没有 NOT NULL UK，则同步数据至目标端时，可能出现重复数据。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免因字符集不兼容导致目标端出现乱码等问题。请确认数据传输对 ...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
迁移时源库为SQL Server的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
校验迁移后的Redis数据
redis-full-check是阿里云自研的Redis数据校验工具，能够提取源端和目的端的数据进行多轮差异化比较，并将比较结果记录在一个SQLite3数据库中，从而达到全量数据校验的目的。说明 如需了解更多redis-full-check相关信息，请参见 redis-full...
物模型相关问题
设备上报物模型数据时，物联网平台按设置的数据校验方式，根据物模型定义进行数据校验。校验不通过或免校验物模型数据，不会在 物联网平台控制台 对应设备的 设备详情 页面中 物模型数据 页签下展示。详细说明，请参见 校验物模型数据。您...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
权限说明
数据湖构建（DLF）产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类，如果您要访问DLF的页面或数据，一般都需要通过这两层权限校验，才可以正确的访问到数据资源。RAM 权限：主要控制DLF所有OpenAPI的访问权限，决定RAM用户是否...
- 产品推荐
- 这些文档可能帮助您