配置项常见问题
如果您使用了 数字翻牌器 组件，数据正常返回却没有改变组件渲染，则需要检查是否在组件配置项中勾选了 数据抖动修正。如果勾选该配置项：当传入数据小于当前数据时则不改变组件渲染。若您的数据有上下浮动而且需要实时渲染当前数据时，则...
配置项常见问题
如果您使用了 数字翻牌器 组件，数据正常返回却没有改变组件渲染，则需要检查是否在组件配置项中勾选了 数据抖动修正。如果勾选该配置项：当传入数据小于当前数据时则不改变组件渲染。若您的数据有上下浮动而且需要实时渲染当前数据时，则...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
通过数据同步功能同步SLS数据至数仓版
例如：SLS数据总共有10行，某一字段中有2行是脏数据，则该2行数据转为NULL值写入，其他8行数据正常写入。Unix时间戳转datetime 若SLS源字段是Unix时间戳（例如1710604800），而目标字段类型是DATETIME或TIMESTAMP，需开启此功能进行转换。...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell...运行日志显示的读写失败总数为0时，表示DataX任务在生产环境同步数据成功，即可保障生产环境业务数据正常产出。
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell...运行日志显示的读写失败总数为0时，表示DataX任务在生产环境同步数据成功，即可保障生产环境业务数据正常产出。
通过数据同步功能同步SLS数据至湖仓版
例如：SLS数据总共有10行，某一字段中有2行是脏数据，则该2行数据转为NULL值写入，其他8行数据正常写入。Unix时间戳转datetime 若SLS源字段是Unix时间戳（例如1710604800），而目标字段类型是DATETIME或TIMESTAMP，需开启此功能进行转换。...
常见问题
A：这是因为主表和索引表的冷数据归档过程是独立的，并且归档主表和索引表冷数据的操作是周期性触发的，导致了主表和索引表滞留在热存储的数据不一致，进而出现查询到的冷数据不一致的现象。您可以在查询条件中添加热数据的时间范围，避免...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
Kafka增量数据同步至MaxCompute
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
Kafka增量数据同步至MaxCompute
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
批量创建质量规则
质量负责人、普通用户需具有数据表、数据源的读取权限，如需申请，请参见 申请、续期和交还表权限、申请数据源权限。说明 仅Dataphin数据表和全域数据表支持配置异常归档表和打分权重。校验规则说明 数据表参与质量规则校验时，如果触发了...
批量创建质量规则
质量负责人、普通用户需具有数据表、数据源的读取权限，如需申请，请参见 申请、续期和交还表权限、申请数据源权限。说明 仅Dataphin数据表和全域数据表支持配置异常归档表和打分权重。校验规则说明 数据表参与质量规则校验时，如果触发了...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
使用数据镜像保护尚未写入完整的数据
云数据库MongoDB提供数据镜像能力，您可以对副本集实例或分片集群实例创建一个只读数据镜像。其中副本集最高支持3TB数据，集群版本最高支持96TB数据。使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取...
全增量同步任务常见问题
文档概述 MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错？PolarDB...
数据质量概述
订阅规则：规则创建完成后，您可以通过规则订阅的方式接收数据质量规则校验报警信息，支持 邮件通知、邮件和短信通知、钉钉群机器人、钉钉群机器人@ALL、飞书群机器人、企业微信机器人 和 自定义Webhook 等方式进行报警。说明 仅DataWorks...
配置任务时测试连接失败的排查及解决方法
概述 配置数据迁移任务时，可以进行数据库连接测试，很多时候会遇到测试连接失败。本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据...
到期或欠费的影响（2.0版）
数据库类型 数据库状态 包年包月数据库 数据库到期后第1天到第7天，数据库处于锁定状态，无法被访问。数据库到期后第8天，数据库的计算资源被释放，数据不再保留。按量付费数据库 阿里云账号欠费后，该账号下所有按量付费数据库将会变成...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
API概览
本产品（云数据库 ...全球数据库网络（GDN）管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据库网络 创建一个新的全球数据库网络（GDN）。DeleteGlobalDatabaseNetwork 删除全球数据库网络 删除全球数据库网络（GDN）。...
冷数据归档
本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
查询结果不符合预期的常见原因
只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现数据写入后非预期不可见的情况。但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
计费项
实例 计费项 计费规则 数据迁移实例 链路配置费用 数据迁移实例仅支持按量付费，计费规则如下：仅在增量数据迁移正常运行期间计费，结构迁移和全量数据迁移期间不计费。重要 在增量数据迁移暂停和失败期间，不会计费。欠费前1个小时内，...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
C100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 配置数据库审计实例 登录数据库审计系统 管理数据库资产 安装Agent 如果您想配置审计规则和告警通知，更多信息，请参见 C100快速入门。如何将跨地域、跨...
通过数据订阅实现缓存更新策略
DTS（Data Transmission Service）的数据订阅功能结合MongoDB或Redis，可以实现高可靠、低延迟的缓存更新策略。本文以源为 RDS MySQL、目标为阿里云数据库Redis版为例，为您介绍缓存更新策略。前提条件 已完成数据订阅通道的配置并新增消费...
数据源管理常见问题
在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
数据源管理常见问题
在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源。说明 DataV支持自建数据库。直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库...
密态运维及脱敏
在数据加密状态下，非授权DBA仅可见数据密文、无法进行涉及数据内容的运维操作，全密态数据库支持密态运维，允许DBA在获得用户授权后（BCL授权）可以正常运维，支持数据脱敏，确保DBA在提供密态运维的同时，仍然无法获取用户明文数据。...
密态运维及脱敏
在数据加密状态下，非授权DBA仅可见数据密文、无法进行涉及数据内容的运维操作，全密态数据库支持密态运维，允许DBA在获得用户授权后（BCL授权）可以正常运维，支持数据脱敏，确保DBA在提供密态运维的同时，仍然无法获取用户明文数据。...
密态运维及脱敏
在数据加密状态下，非授权DBA仅可见数据密文、无法进行涉及数据内容的运维操作，全密态数据库支持密态运维，允许DBA在获得用户授权后（BCL授权）可以正常运维，支持数据脱敏，确保DBA在提供密态运维的同时，仍然无法获取用户明文数据。...
到期提醒与停机策略
本文将为您介绍数据资源平台的到期提醒与停机策略。到期提醒 数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 数据资源...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
- 产品推荐
- 这些文档可能帮助您