确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
管理表结构版本
当您在 数据管理DMS 中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、对比、恢复历史版本的表结构。前提条件 您具有该表（或库）的查询权限，更多信息，请参见 查看我的权限。表...
查询与变更表结构
注意事项 变更表结构可能会对您的数据库与业务造成影响，需谨慎操作。查询表结构 以查看test_table表结构举例。使用SQL语句查询表结构 进入SQL Console。在 SQL Console 窗口中，左键双击表名，系统将自动生成查询表的SQL语句，再单击 执行...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
OceanBase 数据库之间的数据迁移
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时...
时序引擎版本说明
功能优化 修复表反复删除可能会出现数据漏删除的问题。修复写入整数到两个列失败的问题。修复嵌套子查询单列降采样时报错的问题。3.4.6 2022年01月11日 新特性 InfluxDB行协议支持指定Schema策略，支持按需创建Schema。TSQL DATABASE/TABLE...
新功能发布记录
当您在数据管理DMS中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、比对、恢复历史版本的表结构。管理表结构版本 超级SQL模式 新增 开启超级SQL模式后，管理员和DBA在SQLConsole中...
数据方案概览
表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。数据变更 普通数据变更 支持数据...
定义敏感数据
其中 account、name、balance、credit、address 为业务判定的敏感数据字段，则对应全密态数据库下定义的数据表结构如下：CREATE TABLE example(account enc_int4,-账户号码，对应明文的integer类型 name enc_text,-姓名，对应明文的text...
定义敏感数据
其中 account、name、balance、credit、address 为业务判定的敏感数据字段，则对应全密态数据库下定义的数据表结构如下：CREATE TABLE example(account enc_int4,-账户号码，对应明文的integer类型 name enc_text,-姓名，对应明文的text...
定义敏感数据
其中 account、name、balance、credit、address 为业务判定的敏感数据字段，则对应全密态数据库下定义的数据表结构如下：CREATE TABLE example(account enc_int4,-账户号码，对应明文的integer类型 name enc_text,-姓名，对应明文的text...
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 或 已关闭 不需要处理）中移除该表。具体操作如下：登录 数据管理DMS 5.0。在顶部菜单栏中...
EMR Kafka磁盘故障运维
业务场景 Kafka将日志数据存储到磁盘中，当磁盘出现故障时，会导致磁盘IO能力下降、集群吞吐下降、消息读写延时或日志目录offline等问题。这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
申请、续期和交还表权限
表类型为 物理表：默认选择为 查表数据，同时可以选择 改表数据、删除表、改表结构。表类型为 元表、镜像表：默认选择为 查表数据，同时也可以 改表数据。字段列表为您展示 序号、字段名、字段描述、数据类型、数据分类、数据分级 信息。...
申请、续期和交还表权限
表类型为 物理表：默认选择为 查表数据，同时可以选择 改表数据、删除表、改表结构。表类型为 元表、镜像表：默认选择为 查表数据，同时也可以 改表数据。字段列表为您展示 序号、字段名、字段描述、数据类型、数据分类、数据分级 信息。...
从ECS上的自建MySQL同步至PolarDB MySQL版
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持同步的SQL操作 操作类型 SQL...
从RDS MySQL同步至PolarDB MySQL版
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持同步的SQL操作 操作类型 SQL...
StarRocks物理表和字段详情
说明 当数据表为 物理表（外部表）时，表结构不展示分区、分布键和排序键信息；字段列表不展示键类型、聚合类型、允许空值、默认值信息。分区信息：可查看数据表的分区信息。多级分区将按照各级分区组合结果展示，不同分区之间用/连接。...
从ECS上的自建MySQL同步至PolarDB MySQL版
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持同步的SQL操作 操作类型 SQL...
逻辑表和字段资产详情
特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则不会触发血缘更新，仍会展示在血缘图中。勾选后，将不会展示已经删除的表对象。② 图例区 表级血缘支持的数据表，包括 物理表、维度...
从ECS上的自建MySQL同步至PolarDB MySQL版（金融云）
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持同步的SQL操作 操作类型 SQL...
逻辑表和字段资产详情
特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则不会触发血缘更新，仍会展示在血缘图中。勾选后，将不会展示已经删除的表对象。② 图例区 表级血缘支持的数据表，包括 物理表、维度...
多表归并任务中执行Online DDL操作导致目标库数据丢失
问题描述 在通过DTS进行多表归并任务时，若在源库进行Online DDL操作，对源库的表结构等进行了调整修改，则同步到目标库时，会出现数据丢失的情况。说明 多表归并任务指将不同源库的表进行归并，继而同步或迁移到目标库。例如：当用户配置...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
如果数据同步的源集群没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持同步的SQL操作 操作类型 SQL...
全增量同步任务运维
由于各种原因导致目标表数据出现了缺失或者不正确的问题。重要 强制重跑会同步源表的列到目标表，如果目标表缺失了源表的列则会进行加列补齐。执行强制重跑前，需要确认是否可能和正在运行或者即将运行的Merge任务实例产生冲突（同时运行时...
文档更新动态（2023年）
更新说明 创建全域数据表规则 创建数据表质量规则 资产安全-敏感数据识别 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。...
功能更新动态（2023年）
创建全域数据表规则 创建数据表质量规则 数据安全 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。创建、配置及手动触发识别...
功能概述
目标数据库：源数据库的克隆数据库，和源数据库拥有同样的表结构和数据，将源数据库捕获的流量回放的数据库。功能介绍 传统的压测方案大部分基于现有的压测工具（如sysbench、TPCC等），给定场景，改变数据写入和读取速度，观测压力变化对...
步骤三：配置节点运行配置
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开 自定义输出 以后修改。生产环境 物理表所在资源 生产环境中节点输出使用...
步骤三：配置节点运行配置
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开 自定义输出 以后修改。生产环境 物理表所在资源 生产环境中节点输出使用...
MySQL整库周期性增全量同步至Hive
此操作会影响通过数据集成新建表的表结构，已有表的表格式不受影响。新建表存储方式：可以选择 内表、外表，决定新建目标表格式是内表还是外表。新建表格式：可以选择 parquet、orc、txt,决定新建目标表的存储格式。写入模式：决定任务在...
数据管理DMS中重新加载库表结构的元数据说明
概述 本文主要介绍数据管理DMS中，为什么需要重新加载库表结构的元数据。详细信息 通过数据管理DMS登录某个数据库实例时，DMS会加载该实例当前的数据库、表等元数据的结构信息。例如，数据库的名称列表、表的名称列表、当前表的结构字段、...
新建Elastic Service在线类型的节点并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
新建Elastic Service在线类型的节点并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
- 产品推荐
- 这些文档可能帮助您