创建自建数据库用户及授权
本文为您介绍如何为自建 MySQL 数据库实例的用户，以及该用户在数据迁移各阶段需要具备的最小权限。背景信息 自建 MySQL 数据库实例的类型包括 VPC 内自建数据库 和 公网 IP 自建数据库。本文创建的自建数据库用户，用于创建自建数据库实例...
设置过滤条件
在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。该功能常应用于分库分表、同步或迁移部分数据等场景。前提条件 当前任务处于 配置任务对象及高级配置 阶段。进入此阶段的方法...
表结构发布流程化
数据库实例与结构设计各节点的对应关系：结构设计节点 设计结构（Dev）测试（Test）生产发布（Product）对应数据库实例名称 Schema_Design-dev Schema_Design-test Schema_Design-product 环境类型 dev test product 数据库名称 dev_...
DeleteDrdsDB
该接口只是提交了删除数据库的任务，接入方需要依据DescribeDrds接口（查询数据库信息的接口）的返回结果来判断分布式数据库是否删除成功。请求参数 参数名 类型 是否必须 描述 Action String 是 系统规定参数，取值：DeleteDrdsDB。DbName...
离线同步并发和限流之间的关系
在源端数据分布极不均衡的场景，会导致部分数据分片执行耗时较久（其他分片已经完成传输），在任务执行后期阶段任务实际并发数会少于配置并发数。任务并发数配置最佳实践：任务并发数越大，任务运行需要抢占的资源越多，DataWorks数据集成...
pg_cron
在指定数据库中添加定时任务 语法 cron.schedule_in_database(job_name TEXT,schedule TEXT,command TEXT,db_name TEXT);参数说明 参数 说明 job_name 任务名称。schedule 任务计划周期，格式为标准 cron 格式字符串。command 任务内容，...
pg_cron
在指定数据库中添加定时任务 语法 cron.schedule_in_database(job_name TEXT,schedule TEXT,command TEXT,db_name TEXT);参数说明 参数 说明 job_name 任务名称。schedule 任务计划周期，格式为标准 cron 格式字符串。command 任务内容，...
pg_cron
在指定数据库中添加定时任务 语法 cron.schedule_in_database(job_name TEXT,schedule TEXT,command TEXT,db_name TEXT);参数说明 参数 说明 job_name 任务名称。schedule 任务计划周期，格式为标准 cron 格式字符串。command 任务内容，...
技术架构
由于单个数据库实例的计算能力有限，传统的做法是通过搭建多个数据库副本来分担压力，从而提供数据库Scale out的扩展能力。然而，这种做法需要存储多份全量数据，并且频繁同步日志数据造成了过高的网络开销。此外，在传统数据库集群上，...
Oracle数据库的限制和准备工作
当您使用DTS传输Oracle的数据，或者将数据转储到Oracle数据库时，需要了解DTS支持的能力、功能限制和接入DTS的准备工作，以便您平稳地完成数据同步或迁移。数据库限制 自建 Oracle为源 限制项 说明 支持的版本 支持10g、11g、12c、18c、19c...
流程配置
本文介绍流水线阶段、任务、步骤的编排，帮助自定义企业自己的CI/CD流程。通过流水线流程配置企业可以自定义自己的CI/CD流程，将构建、部署、测试、管控等组件化能力进行编排和串通，完成从开发到上线过程的自动化流程。Flow 流水线提供...
设置定时任务（pg_cron）
更改定时任务 pg_cron提供了 cron.alter_job 函数用于更改定时任务，语法如下：SELECT cron.alter_job(<定时任务ID>,'<定时计划>','<定时任务>','<执行数据库>','<执行用户>','<任务是否启用>');定时任务ID>：必填。定时任务ID为创建任务...
快速开始
添加任务 点击阶段任务列表的新建任务按钮，如下所示：如上图所示，对于使用了release文件定义源码构建的用户可以添加“应用构建”，对于未使用release文件的用户可以添加“构建”任务来自定义构建过程，“构建任务”是一个工作区相关任务...
API概览
数据传输服务DTS（Data Transmission Service）新版API接口。API 描述 CreateDtsInstance 购买DTS实例。ConfigureDtsJob 配置一个迁移或同步任务。ConfigureSubscription 配置一个订阅任务。WhiteIpList 查询DTS服务的IP地址，并添加至源或...
任务拆分和执行
任务拆分阶段 任务调度提供了 IClusterJobSplitHandler 接口进行任务拆分，目前支持两种拆分方式：ShardingChunkData 拆分：指定索引的拆分方式，通过索引对这个子任务（chunk）进行唯一标识，客户端会根据指定的索引拉取数据进行处理。...
申请跨境数据同步权限
数据传输服务DTS（Data Transmission Service）默认仅支持非跨境的数据同步任务，若您需要创建跨境（跨国家或地区）的数据同步任务，需要申请开通跨境同步的权限。例如，创建从中国内地到非中国内地地域的同步任务时，需要申请跨境同步的...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
执行列表
您可以通过执行列表查看当天任务执行情况，分为任务实例列表和流程实例列表。查看执行列表 说明 SchedulerX基础版中任务实例记录只支持查看10条，专业版支持查询100条任务实例记录。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧...
数据库变更管理
用户可以通过数据库变更任务运行耗时较高的 SQL 语句以避免语句执行超时。注意事项 只支持对 UPDATE 和 DELETE 变更语句自动生成回滚语句。支持的变更影响行数上限为 100W，超过则不支持自动生成回滚语句。若表中包含大字段，不支持自动...
DescribeTaskInfo-查询任务详情
您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
DescribeTaskInfo-查询任务详情
您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
DescribeTaskInfo-查询任务详情
您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
如何解决关于表结构的报错？
报错：Access denied for user 'XXXX'@'%' to database 'XXXX' 可能原因：DTS任务使用的数据库账号，没有访问报错信息中的数据库的权限。解决方法：方法一：使用权限足够的数据库账号，创建DTS任务。方法二：给报错信息中的账号，授予足够...
概述
体验任务 本教程将带您体验如何使用云数据库 OceanBase 集群实例创建一个表，并在表中插入数据，从而验证云数据库 OceanBase 的高压缩存储和实时分析能力。主要操作步骤如下：顺序 操作步骤 详情 1 创建集群实例 当您初次使用云数据库 ...
功能更新动态（2023年）
集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
API概览
本产品（云数据库 RDS/2014-08-15）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
开发阶段
开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中，开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试，以便后续测试工作可以顺利开展。开发阶段的流程包括以下步骤：代码开发 该部分内容请参见 编码规范，...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
API概览
本产品（云数据库 RDS/2014-08-15）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
广播
广播执行表示一个任务实例会广播到该分组所有Worker上执行，当所有Worker都执行完成，该任务才算完成。任意一台Worker执行失败，都算该任务失败。应用场景 批量运维 定时广播所有机器运行某个脚本。定时广播所有机器清理缓存。动态拉起每台...
数据库可用性检查失败
问题描述 为保障数据迁移任务的顺利执行，DTS任务会在预检查阶段检查目标数据库待迁入的数据库是否可用，检测结果为失败。数据库可用性检查失败的详细检测结果如下：问题原因 目标数据库中待迁入的数据库没有创建，而DTS又不会自动创建，...
无锁结构变更
背景信息 为解决变更数据库表结构时的锁表问题，ODC V4.2.0 版本提供了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务。本文档旨在介绍如何通过提交无锁变更工单实现数据库无锁结构变更。ODC 支持的在线结构变更 分类 操作 ...
API概览
本产品（数据库备份/2019-03-06）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
一键实时同步至Hologres
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
预检查阶段进行同名对象存在性提示检查失败
问题描述 为保障数据迁移任务的顺利执行，DTS任务会在预检查阶段检查目标数据库是否存在和待迁移对象同名的对象，但是该检查项提示失败。问题原因 目标数据库中存在和待迁移对象同名的对象。解决方案 您可以根据业务需求选择以下任意一种...
配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
PG_CRON
执行一个任务 SELECT cron.schedule('schedule','task')-选定数据库执行任务-第三个参数不指定即为配置文件中数据库，默认postgres SELECT cron.schedule('schedule','task','my_db')-删除一个任务 SELECT cron.unschedule(schedule_id)-...
- 产品推荐
- 这些文档可能帮助您