产品简介
首先，Data Exchange提供了一个集中的数据交换平台，使用户能够浏览和订阅各种数据产品。这些数据产品涵盖了多个行业及领域，包括智能汽车、金融等。用户可以根据自己的需求浏览各种数据集，并选择订阅感兴趣的数据产品。其次，Data ...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向云HBase的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
什么是云原生多模数据库Lindorm
开放兼容 兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等 多种标准接口，支持与Hadoop、Spark、Flink、Kafka等系统无缝打通，并提供简单易用的数据交换、处理、订阅等能力。多模介绍 Lindorm支持宽表、时序、对象、文件、队列、...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
Lindorm for Cassandra应用实践
开放数据生态：提供简单易用的数据交换、处理、订阅等能力，能够高度兼容MySQL、Spark、Flink、Kafka等系统。开源Cassandra挑战 开源Cassandra是基于Amazon DynamoDB和Google Bigtable设计的一款分布式NoSQL数据库，具备无中心、一致性可调...
基本概念
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。更多信息，请参见 LTS（原BDS）服务介绍。M MaxCompute 大数据计算...
SQL结果集导出
该实例下的数据库包含您待导出的数据。录入实例的具体操作，请参见 云数据库录入、他云/自建数据库录入。注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。...
通过数据同步功能同步Kafka至湖仓版（推荐）
注意事项 Kafka中创建的Topic数据超过一定的时间会被自动清理，如果Topic数据过期，同时数据同步任务失败，重新启动同步任务时读取不到被清理掉的数据，会有丢失数据的风险。因此请适当调大Topic数据的生命周期，并在数据同步任务失败时...
数据水印
影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验（可选）是否跳...
Kafka实时ETL同步至Hologres
在弹出对话框中指定好 开始时间 和 采样条数 后，单击 开始采集 按钮，可以对指定的Kafka Topic进行数据采样，同时您可以预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。编辑数据处理节点。单击 图标可以增加数据...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
如何处理Tair集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
如何处理Redis集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
交换分区
当 ALTER TABLE…EXCHANGE PARTITION 命令执行完成时，原来位于 target_partition 中的数据将交换至 source_table 中，原来位于 source_table 中的数据将交换至 target_partition 中。ALTER TABLE…EXCHANGE PARTITION 命令可以交换LIST、...
配置管理
提交数据变更时的原因分类。示例以及详情请参见 附录：数据变更原因分类。数据变更的执行方式 取值：COMMITOR：表示审批通过后由提交者执行。AUTO：表示审批通过后自动执行。LAST_AUDITOR：表示由最后一个审批人执行。审批流的审批节点是否...
消除数据重分布
许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，同时也消耗网络资源。所以应该尽量减少和避免数据交换。首先分析数据库系统的查询模式，确定系统中成本最高...
数据倾斜诊断
您也可以添加过滤条件，查看指定Schema或指定表的数据倾斜情况，查询语句如下：查看指定Schema下所有表的数据倾斜情况：SELECT*FROM adbpg_toolkit.diag_skew_tables WHERE schema_name='名称>';查看指定表的数据倾斜情况：SELECT*FROM ...
导入数据
原因类别 根据实际情况选择数据导入的原因。业务背景 详细填写本次操作的业务背景，减少沟通成本。执行方式 根据需求，选择工单执行方式：审批通过后，提交者执行。审批通过后，自动执行。最后一个审批人执行。文件编码 选择数据库的文件...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
授权和回收数据板块权限
授权原因 填写授予数据板块权限的原因。单击 确定，完成数据板块权限的授权。回收数据板块权限 按照下图操作指引，进入 数据板块回收 对话框。在 数据板块回收 对话框，配置参数。参数 描述 回收用户 选择需要回收数据板块权限的用户。逻辑...
授权和回收数据板块权限
授权原因 填写授予数据板块权限的原因。单击 确定，完成数据板块权限的授权。回收数据板块权限 按照下图操作指引，进入 数据板块回收 对话框。在 数据板块回收 对话框，配置参数。参数 描述 回收用户 选择需要回收数据板块权限的用户。逻辑...
使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查...因此在目标库有数据的情况下，DTS不支持进行数据迁移，所以DTS数据迁移不会覆盖掉已存在的数据。适用于 数据传输服务 DTS
EXCHANGE PARTITION
当执行完 ALTER TABLE.EXCHANGE PARTITION 命令后，最初在 target_partition 中的数据就会交换到 source_table 中，而最初在 source_table 中的数据则会交换到 target_partition 中。WITHOUT VALIDATION 选项表示不对单表的数据是否符合...
离线同步常见问题
可能原因：数据库相关编码未设置为utf8mb4，导致同步表情符报错。源端的数据本身就是乱码。数据库和客户端的编码不一样。浏览器编码不一样，导致预览失败或乱码。解决方案：针对产生乱码的不同原因，选择相应的解决方法：如果您的原始数据...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
授权与回收数据源权限
③ 列表区 为您展示授权的数据源账号、权限类型、有效期至、权限来源信息，同时，您可以在 操作 列下对数据源进行 回收 操作。回收：回收单个账号的整体数据源权限。在 数据源回收 对话框，填写 回收原因。单击 确定。④ 批量操作区 回收：...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
管理Dataphin数据源权限
如果需要查看字段的数据，则选择 查询权限。权限账号 系统默认选择为 应用。权限账号所属项目 系统默认选择为默认项目。应用 选择应用的分组及应用。有效期至 选择权限的截至时间。您也可以选择自定义后，指定截至时间。申请原因 填写申请...
创建PolarDB-X 1.0数据订阅任务
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。若您订阅的单行数据超过16MB，则不支持消费，...
跨阿里云主账号访问
进入工作空间管理中心页面后，单击左侧导航栏的 数据源，进入数据源页面。单击相应数据源 操作 列的 编辑。选择已与数据源网络联通的资源组，单击 连通状态 列 测试连通性，若连通状态为 可连通 时，表示连通成功。相关文档 配置资源组与...
管理网络配置
这些参数将用于工作空间下的机器与工作空间所选的外部集群、工作空间所添加的数据库之间的网络连通。参数 说明 专有网络 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通专有网络，需与后续添加使用的EMR集群、数据库专有网络...
独享资源组
独享调度资源组使用场景 如果非数据集成任务需要访问VPC环境下的数据库、有白名单访问控制的数据库时，需要使用独享调度资源组，独享调度资源组的使用详情请参见 新增和使用独享调度资源组。独享数据集成资源组使用场景 如果您需要同步VPC...
配置任务常见错误码及排查方法
DTS.Msg.InvalidIpAddress 配置 接入方式 为 公网IP、专线/VPN网关/智能网关 或 云企业网CEN 的数据库实例的DTS任务时。原因：输入的IP地址格式错误，导致无法解析。解决方法：输入正确的IP地址后重试。DTS.Msg.PauseDenied....
专有网络VPC的数据源连通独享数据集成资源组
本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件 购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见 快速创建RDS MySQL实例。在目标实例...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
权限操作审计
区域 描述 ① 搜索及筛选区 您可根据数据对象的名称关键字进行模糊搜索，可勾选 我管理的，筛选当前账号管理的数据表，也可根据权限类型、操作类型筛选数据表。② 导出区 查看导出记录：支持查看权限操作审计的导出记录。在 导出记录 ...
- 产品推荐
- 这些文档可能帮助您