创建Hologres数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至当前Hologres数据源，或将当前Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步解决...
Spark SQL、Dataset和DataFrame基础操作
val peopleDF=spark.read.json("examples/src/main/resources/people.json")peopleDF.write.parquet("people.parquet")示例2：通过SQL从parquetFile表中读出年龄在13岁到19岁之间的年轻人的名字，并转化为DataFrame，随后通过Map操作将名字...
添加AnalyticDB for MySQL数据源
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute-查询集群的详细属性 接口获取VPC...
添加AnalyticDB for MySQL数据源
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute 接口获取VPC实例ID。域名 连接数据...
读写分离
但是由于RDS主实例与只读实例之间数据的同步存在着毫秒级别的延迟，如果在主库中变更以后需要马上读取变更的数据，则需要保证将读取数据的SQL下发到主实例中。针对这种需求，PolarDB-X 1.0 提供了读写分离自定义HINT，指定将SQL下发到主...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
通过DTS实现数据库的垂直拆分
当RDS实例负载过大时，可以将该实例的一个数据库或表垂直拆分至另外一个单独的实例中。本文介绍如何通过双写方案和简易拆分方案实现垂直拆分。背景信息 假设一个RDS实例上有数据库A和B，随着业务增长实例瓶颈也日趋可见，如想要减轻该实例...
API概览
RemoveSubInstance 将子实例转换为普通实例 将子实例从分布式实例中移除并转变为普通Redis实例（数据会被保留）。连接管理 API 标题 API概述 ModifyInstanceNetExpireTime 延长经典网络地址的保留时间 若Redis实例之前执行过由经典网络向...
API概览
RemoveSubInstance 将子实例转换为普通实例 将子实例从分布式实例中移除并转变为普通Redis实例（数据会被保留）。连接管理 API 标题 API概述 ModifyInstanceNetExpireTime 延长经典网络地址的保留时间 若Redis实例之前执行过由经典网络向...
他云/自建数据库录入
本文介绍如何将他云/自建数据库录入至数据管理DMS中。前提条件 支持录入的他云/自建数据库类型，请参见 支持的他云/自建数据库。已在他云/自建数据库的白名单中添加DMS的服务器访问地址。详细信息，请参见 设置IP白名单。目标数据库实例的...
释放实例
建议您在释放实例前先备份数据，并将备份数据恢复至其他实例中。具体操作，请参见 备份数据 和 恢复数据。释放按量付费实例 登录 图数据库GDB控制台。在页面左上角，选择实例所在地域。单击目标实例ID或目标实例所在行 操作 列的 管理。在 ...
DataFrame概述
PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口，用Pandas进行计算。快速入门：为您介绍如何创建和操作DataFrame对象，以及使用Dataframe完成基本的数据处理。...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
迁移
例如，若您源库为 PolarDB-X 1.0 实例中的数据库，名称为“test1”，目标库为 PolarDB-X 2.0中的AUTO模式数据库，名称为“test2”，则需在 PolarDB-X 2.0实例中创建DRDS模式数据库作为中继数据库，名称为“test2_drdstoauto”。创建的目标...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
数据恢复
本文介绍如何将 云原生数据仓库AnalyticDB PostgreSQL版 实例的备份数据恢复到一个新实例。注意事项 恢复点是否可用与实例节点是否出现 主动放弃归档 行为密切相关。关于 主动放弃归档 的详情，请参见 功能原理 的日志备份描述。进行数据...
IoT数据源
DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表，本文为您介绍DataWorks的IoT数据读取能力。支持的版本 仅华东2（上海）、华北2（北京）、华南1（深圳）地域的标准型和尊享型...
添加ClickHouse数据源
因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体数据库产品获取VPC实例ID的接口，请使用 DescribeDBClusterAttribute-查看集群的详细属性 接口获取VPC...
智能压测
说明 当源实例为阿里云数据库时，您可以选择以上四种方式中的其中一种，由于压测任务创建后，系统会自动购买和源库规格一致的按量付费实例，并将数据恢复到该实例，建议您选择 通过备份恢复。当源实例为自建数据库时，仅可选择 已完成数据...
查看并管理手动实例
手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理，包括查看运行日志、查看手动任务、查看节点代码等。手动实例入口 请参见 运维中心入口，进入 运维 中心。在 运维 中心页面，单击左侧导航栏 手动实例，进入手动...
Redis企业版实例间的双向同步
当前固定为 包含全量数据+增量数据，DTS会将源Redis实例中同步对象的存量数据初始化至目标Redis实例，并同步增量数据。重要 在配置反向同步作业时，如果同步对象已经初始化至目标实例，则直接同步增量数据。如果跳出版本相关的报错提示，请...
Redis企业版实例间的双向同步
当前固定为 包含全量数据+增量数据，DTS会将源Redis实例中同步对象的存量数据初始化至目标Redis实例，并同步增量数据。重要 在配置反向同步作业时，如果同步对象已经初始化至目标实例，则直接同步增量数据。如果跳出版本相关的报错提示，请...
查看并管理手动实例
手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理，包括查看运行日志、查看手动任务、查看节点代码等。手动实例入口 请参见 运维中心入口，进入 运维 中心。在 运维 中心页面，单击左侧导航栏 手动实例，进入手动...
概览
概览页面中，为您提供 OceanBase 控制台的操作流程引导，并可查看资源总览、容量诊断和 SQL 诊断等信息。概念介绍 云数据库 OceanBase 的数据库实例主要有集群实例和租户实例两种类型。集群实例：在云数据库 OceanBase 中，一个集群实例指 ...
从ECS上的自建Redis同步至Redis实例
说明 DTS会将源Redis实例中的存量数据同步至目标Redis实例中，并同步增量数据。如果跳出版本相关的报错提示，请您按照提示将源Redis实例升级至指定版本。关于升级版本方式，请参见 升级大版本 和 升级小版本。上述配置完成后，单击页面右下...
文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
从MongoDB单节点实例迁移至副本集或分片集群实例
单节点实例不支持使用DTS执行增量数据迁移，为保障数据一致性，全量数据迁移期间请勿在源实例中写入新的数据。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，请提前确认兼容性。如果您的数据库小版本...
删除实例
如果您不再需要某个实例，可以手动从DMS中移除该实例。前提条件 系统角色为DBA或管理员。注意事项 删除实例后，用户将不能在DMS使用该实例下的数据库。删除实例后，用户针对该实例申请的权限将会失效并自动删除。删除实例操作只是取消了...
智能压测
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过智能压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因时，...
使用创建反向任务功能
本文为您介绍如何使用数据传输服务DTS（Data Transmission Service）的创建反向任务功能，实现数据库容灾场景下的数据回传。前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备...
从ECS上的自建Redis同步至Redis实例
说明 DTS会将源Redis实例中的存量数据同步至目标Redis实例中，并同步增量数据。如果跳出版本相关的报错提示，请您按照提示将源Redis实例升级至指定版本。关于升级版本方式，请参见 升级大版本 和 升级小版本。上述配置完成后，单击页面右下...
跨实例查询
云原生数据仓库 AnalyticDB PostgreSQL 版 通过外部数据包装器FDW（foreign-data wrapper）帮助您轻松快速实现对同一账号中的不同实例进行联合查询，在保证数据实时性的同时，有效减少数据冗余。功能介绍 目前，很多公司或组织同时运行了多...
Redis实例间的单向数据同步
说明 DTS会将源Redis实例中的存量数据同步至目标Redis实例中，并同步增量数据。如果跳出版本相关的报错提示，请您按照提示将源Redis实例升级至指定版本。关于升级版本方式，请参见 升级大版本 和 升级小版本。上述配置完成后，单击页面右下...
Redis实例间的单向数据同步
说明 DTS会将源Redis实例中的存量数据同步至目标Redis实例中，并同步增量数据。如果跳出版本相关的报错提示，请您按照提示将源Redis实例升级至指定版本。关于升级版本方式，请参见 升级大版本 和 升级小版本与代理版本。上述配置完成后，...
从自建Redis集群同步至Redis集群实例
说明 DTS会将源Redis实例中的存量数据同步至目标Redis实例中，并同步增量数据。如果跳出版本相关的报错提示，请您按照提示将源Redis实例升级至指定版本。关于升级版本方式，请参见 升级大版本 和 升级小版本。上述配置完成后，单击页面右下...
从自建Redis集群同步至Redis集群实例
说明 DTS会将源Redis实例中的存量数据同步至目标Redis实例中，并同步增量数据。如果跳出版本相关的报错提示，请您按照提示将源Redis实例升级至指定版本。关于升级版本方式，请参见 升级大版本 和 升级小版本。上述配置完成后，单击页面右下...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
MongoDB 4.0
单节点实例不支持使用DTS执行增量数据迁移，为保障数据一致性，全量数据迁移期间请勿在源实例中写入新的数据。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，请提前确认兼容性。如果您的数据库小版本...
数据连接管理
数据传输服务DTS（Data Transmission Service）支持录入数据库信息。在配置任务时，您可以直接选择已录入的数据库，DTS将自动填入数据库...在 数据连接管理 页面执行的删除实例操作，只是将数据库实例从DTS中移除，而不影响数据库中的数据。
使用说明
本文为您介绍Mars集群上的操作、MaxCompute读取表以及获取Mars UI地址等更多操作。如果您需要了解开发Mars作业的详细操作指导，详情请参见 Mars。Mars集群操作 创建Mars集群 执行如下命令创建Mars集群。Mars集群的创建过程较慢，请您耐心...
- 产品推荐
- 这些文档可能帮助您