RDS MySQL迁移至AnalyticDB MySQL 3.0
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
媒体投放数据
选择 媒体回流>所在工作空间>回流任务>媒体投放数据，您可以查看使用媒体投放功能投放的广告的回流曝光数据量、回流点击数据量等信息，如下图所示。筛选条件：查询维度：按活动：按广告活动查询，如上图所示。按订单：按广告订单（一次营销...
RDS SQL Server同步至RDS MySQL
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
离线同步任务调优
文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响因素。同步任务整体速度慢可能出现在同步过程的各个阶段，本文以现象入手，为您提供各个阶段运行慢的解决方案，详情请参见：数据同步慢的...
API概览
ModifyActiveOperationTasks 修改多个主动运维任务切换时间 该接口用于修改云数据库MongoDB实例计划内运维任务的切换时间。资源管理 API 标题 API概述 DescribeAvailableResource 查询指定可用区的资源信息 查询指定可用区的资源信息。...
时间属性配置说明
DataWorks支持的调度类型如下：重要 任务调度频率与上游任务周期无关 任务多久调度一次与任务本身定义的调度周期有关，与上游任务调度周期无关。DataWorks支持不同调度周期的任务互相依赖 DataWorks中，调度任务会根据调度类型及周期数生成...
查看周期实例
相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务、调度任务在非调度时间范围内产生的实例、分支节点分支未被选中的空跑任务、实时转实例产生的过期任务等）与被冻结的任务。使用限制 版本要求：仅...
DMS调度XIHE SQL
流程介绍 以 云原生数据仓库AnalyticDB MySQL版 数仓版（3.0）集群为例，介绍作业调度流程：通过DMS的任务编排功能在 AnalyticDB MySQL版 数据库的 orders 订单表中筛选出已完成且订单金额大于10000 元 的订单。步骤 说明 步骤一：新增任务...
通过任务编排实现跨库数据同步
前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据库的变更权限。如需申请权限，请参见 DMS访问控制权限概述。准备一个AnalyticDB MySQL数据仓库，用于数据加工，且您拥有该数据仓库的变更权限。如需申请...
新建补数据计划
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
新建补数据计划
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
数据库采集
数据库网关DG（Database Gateway）是一种支持私网数据库远程访问的数据库连接服务。通过数据库网关DG，您可以无需开通公网地址访问并管理本地IDC或其他云厂商的数据库。详情请参见 什么是数据库网关。说明 目前ADAM支持华北2（北京）、华北...
PHP访问（2.0版）
分析型数据库MySQL版端口号，可从分析型数据库MySQL版控制台获取端口号/连接云原生数据仓库AnalyticDB MySQL版2.0集群$ads_conn=mysqli_connect($ads_server_name,$ads_username,$ads_password,$ads_database,$ads_port);strsql="SELECT ...
识别任务说明
完成资产授权后，数据安全中心会为每一个数据库或Bucket自动创建敏感数据识别任务，即系统默认任务；您可以根据实际需要自定义识别任务。本文介绍识别任务的相关说明，及如何查看系统默认任务、新建识别任务、订正和导出敏感数据识别结果。...
将Oracle数据同步到表格存储
步骤三：连接源数据库和目标数据库 通过Tapdata Cloud连接源数据库和目标数据库。登录 Tapdata Cloud平台。在左侧导航栏，单击 连接管理。连接作为源库的Oracle数据库。在 连接管理 页面，单击 创建连接。在 创建连接 对话框的 认证数据源 ...
应用场景
物流应用：使用云数据库MongoDB存储订单信息，订单状态在运送过程中会不断更新，以云数据库MongoDB内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来，方便快捷且一目了然。社交应用：使用云数据库MongoDB存储用户信息以及用户...
RDS MySQL实例间的迁移
当目标库为RDS MySQL时：DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS MySQL中创建数据库。相关操作，请参见 管理数据库。费用说明 迁移类型 链路配置费用 公网...
RDS MySQL实例间的同步
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
API概览
DeleteClient 删除客户端 CreateHanaRestore 创建SAP HANA恢复任务 创建SAP HANA数据库恢复任务。DeleteHanaBackupPlan 删除SAP HANA备份计划 删除一个SAP HANA备份计划。DeleteHanaInstance 删除SAP HANA实例 删除SAP HANA实例。...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
无 配置目标数据湖信息 目标数据库 存储目标表的数据库。database_1 目标数据表名称 作业会以此名称来建表。anti_rds 存储格式 目标表的数据格式。Hudi 数据湖存储位置 数据存储的OSS路径。格式为 oss:/名称>/目录名称>/。oss:/doc-test-01...
设置过滤条件
在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。该功能常应用于分库分表、同步或迁移部分数据等场景。前提条件 当前任务处于 配置任务对象及高级配置 阶段。进入此阶段的方法...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
流式ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程通过DAG模式配置ETL任务 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中...
什么是ETL
说明文档 配置文档 通过DAG模式配置ETL任务 配置流程 配置源库信息 配置转换组件 配置目标库信息 新建连接模板 通过Flink SQL模式配置ETL任务 在DTS迁移或同步任务中配置ETL 最佳实践 使用ETL分析实时订单 DTS任务中配置ETL典型应用
实时消费Kafka数据
DATABASE:<db_name>USER:<user_name>PASSWORD:<password>HOST:<host>PORT:<adbpg_port>VERSION:2 KAFKA:INPUT:SOURCE:BROKERS:[,.]TOPIC:[PARTITIONS:()][FALLBACK_OFFSET:{ earliest|latest }][VALUE:COLUMNS:NAME:{<column_name>} TYPE:...
云数据库MongoDB版（副本集架构）迁移至云数据库...
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源数据库的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，...
DB2数据源
jdbcUrl":"jdbc:db2:/ip:port/database",/DB2数据库的JDBC连接信息。column":["id"],"batchSize":1024,/一次性批量提交的记录数大小。table":"",/表名。username":"",/用户名。preSql":[]/执行数据同步任务之前执行的SQL语句。},"name...
PHP
本文介绍如何把PHP应用程序连接到PolarDB兼容Oracle数据库。前提条件 已经在 PolarDB 集群创建用户，如何创建用户请参见 创建数据库账号。已经将需要访问 PolarDB 集群的主机IP地址添加到白名单，如何添加白名单请参见 设置集群白名单。...
PHP
本文介绍如何把PHP应用程序连接到PolarDB兼容Oracle数据库。前提条件 已经在 PolarDB 集群创建用户，如何创建用户请参见 创建数据库账号。已经将需要访问 PolarDB 集群的主机IP地址添加到白名单，如何添加白名单请参见 设置集群白名单。...
云数据库MongoDB版（副本集架构）迁移至云数据库...
支持的源和目标数据库 源数据库（副本集架构）目标数据库（副本集架构、分片集群架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能...
库表列名映射
源数据库类型为 Tair/Redis 时，任务对象的选择粒度需为Redis DB；源数据库为其他类型的数据库时，任务对象的选择粒度需为表。如果使用了库表列名映射功能，可能会导致依赖这个对象的其他对象同步或迁移失败。库表列名单个映射 在 配置任务...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
自建数据库MongoDB版（分片集群架构）迁移至云数据库...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源数据库的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，...
2021年
云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集架构或分片集群架构）云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分...
API概览
本产品（数据库备份/2019-03-06）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
MySQL实例间的双向同步
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
- 产品推荐
- 这些文档可能帮助您