通过无锁变更工单实现无锁结构变更
本文介绍通过提交无锁变更工单实现数据库无锁结构变更的方法。前提条件 数据库类型仅支持 RDS MySQL、PolarDB MySQL版、MyBase MySQL 或其他来源MySQL。不支持 PolarDB分布式版（包含PolarDB-X 1.0和PolarDB-X 2.0）、RDS PostgreSQL 等...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
安全中心
之前在数据管理提交的权限申请，仍未通过审批，是否需要重新申请？如何设置字段的LabelSecurity？通过安全中心可以申请什么权限？您可以通过 安全中心 页面申请DataWorks工作空间内的表权限，包括开发环境和生产环境。数据管理和安全中心是...
概述
如果自动提交模式打开，则会立即提交每个成功的数据库更新，并且无法撤消。打开或关闭自动提交模式的方式取决于应用程序。事务在 SPL 程序中遇到第一个 SQL 命令时开始。所有后续的 SQL 命令都包含在该事务中。当发生以下任一情况时，事务...
表数据管理
提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF），所以您需要单击该按钮以手动提交当前事务。单击时会提示您当前连接采用共享 Session，提交操作会对所有窗口生效，单击 确认 后提交生效。MySQL 模式下自动提交默认设置为开...
数据治理中心概述
数据治理逻辑 数据治理问题检测包括数据开发任务提交发布前的检查项检测，及提交发布后的治理项检测，帮助您全方位管控当前数据存在的待治理问题。当触发检测项后，若校验不通过，则会生成相应事件（严重问题将阻塞开发流程），您需通过...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
使用MaxCompute控制台（离线）
单击 上传数据，提交上传。重要 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。查看上传记录 提交上传后，若...
入库审批
数据填报提交表单入库时，为了避免脏数据的录入、保障数据的准确性，可以通过入库审批功能对数据进行校验以及审批后完成录入。使用限制 仅专业版支持入库审批。1.审批前置条件 1.1 系统审批开启 1.1.1 操作入口 开启审批流，并勾选对应的 ...
资源角色
可查询实例下所有数据库中的数据（不包含敏感字段），提交各类数据方案与库表结构的工单。对应于审批节点中 动态计算 的DBA。实例Owner 每个实例可以设置3个实例Owner。云数据库资源默认主账号为实例Owner。非云数据库默认当前录入的云账号...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
使用说明
但 commit in middle 并不能遵循严格意义上的事务原子性（Atomicity），因此您在使用过程中需要注意如下几点：假设需要开启一个事务插入大量数据，但在数据插入过程中，由于 commit in middle 功能，已经先提交了一部分数据，其它请求就...
基于Client SDK数据写入
针对Client抛出的异常，调用方要根据错误码的意义自行判断如何处理，如果是数据写入有问题，可以重复提交或者记录下有问题的数据后跳过。很多时候写入线程并不是越多越好，因为业务程序会涉及到攒数据的场景，对内存的消耗是比较明显的，...
数据导入
注意事项 数据导入功能暂不支持在同一个工单对多个数据库进行变更操作，如需对多个数据库进行变更请提交普通数据变更工单。具体操作，请参见 普通数据变更。若只是少量数据变更，为保证变更的稳定性，建议使用 普通数据变更 或 DML无锁变更...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）Writer累积一定数据，提交给DRDS（PolarDB-X）的Proxy，该Proxy内部决定数据是写入一张还是多张表，以及多张表写入时如何路由数据。说明 整个任务至少需要具备 replace into 的权限。是否需要其它权限，取决于您配置任务...
事务隔离
当一个事务使用这个隔离级别运行时，一个查询（没有 FOR UPDATE/SHARE 子句）只能看到查询开始之前已经被提交的数据，而无法看到未提交的数据或在查询执行期间其它事务提交的数据。实际上，SELECT 查询看到的是一个在查询开始运行的瞬间该...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
执行补数据并查看补数据实例（新版）
若所选根任务没有下游任务，则补数据任务提交后将只补当前根任务的数据。任务黑名单 若某任务无需补数据，可将其添加至黑名单。黑名单中的任务将不参与本次补数据。说明 若黑名单中的任务为本次补数据的中间任务（即该任务的上下游依赖在...
数据追踪
若影响较大，您可提交普通数据变更工单将此回滚脚本作为附件上传至工单中，执行至目标数据库中。具体操作，请查看 普通数据变更。使用API进行数据追踪。CreateDataTrackOrder-创建数据追踪工单 GetDataTrackJobDegree-获取数据追踪任务进度...
消息通知管理
事件类型 DMS支持通知的事件类型如下：模块 类别 状态 工单模块 权限申请 待审批 审批通过 审批拒绝 数据变更 预检验失败 待提交审批 待审批 审批通过 审批拒绝 执行成功 执行失败 待调度 调度超时 数据导出 预检验失败 待提交审批 待审批 ...
使用do-while节点实现复杂的数据分析
提交节点 双击do-while节点，在右侧的节点页面进行如下操作：重要 您需要设置节点的 重跑属性 和 依赖的上游节点，才可以提交节点。单击工具栏中的 图标。在 提交 对话框中，选中需要提交的节点，输入 备注。单击 提交。如果您使用的是标准...
审计日志
SubmitPublishStandard 提交上线数据标准。RepublishStandard 重新发布数据标准。WithdrawPublishStandard 撤销发布数据标准。UnpublishStandard 下线数据标准。DeleteStandard 删除数据标准。ImportStandards 批量导入数据标准。...
DML无锁变更概览
若需要使用其他类型的SQL，您可提交普通数据变更工单。具体操作，请参见 普通数据变更。SQL类型 限制项 UPDATE、DELETE 仅支持UPDATE或DELETE单表操作。更新、删除（UPDATE、DELETE）数据时必须添加WHERE子句。若需要更新或删除全表，则...
SubmitOrderApproval-提交工单审批
调用SubmitOrderApproval提交工单审批。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
使用DMS数据追踪进行恢复
数据追踪功能可以快速按需找到目标时间段内的相关更新信息，并生成逆向回滚语句。...后续步骤 导出回滚脚本后，您可以提交普通数据变更工单，将此回滚脚本作为附件上传至工单中，执行至目标数据库中。更多信息，请查看 普通数据变更。
访问JDBC外表
数据访问 您可以通过以下方法配置并提交外部数据源的Spark作业，然后通过Spark SQL完成外部数据源的访问。JDBC开发实践 JAR作业开发实践 Python作业开发实践 访问示例一：读取外部JDBC数据表（db0.mysql_tbl0）并关联Hive表（hive_tbl0），...
项目管理（新版）
开启成默认数据传输服务资源组 的值为开启时，该项目默认提交的数据传输服务会自动使用数据传输服务（包年包月）资源组。开启成默认数据传输服务资源组 的值为关闭时，该项目默认提交的数据传输服务会自动使用Default资源组。说明 如果需要...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
SubmitQuery-提交查询
show databases workspaceId string 否 工作空间 id WS-A129E61C4892D2B4 返回参数 名称 类型 描述 示例值 object 创建查询的结果 Data string 返回数据 Q-14475CF9B51FCE5E RequestId string 请求 ID 279AA630-A8ED-5EA9-80A3-2E213D63548...
XIHE BSP SQL开发
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过SQL开发编辑器或JDBC方式提交XIHE BSP SQL作业。本文介绍XIHE BSP SQL作业开发的适用场景、提交方法、常见配置参数及常见问题。前提条件 已在湖仓版（3.0）集群中创建Job型资源组。...
SubmitStructSyncOrderApproval-提交结构同步工单至...
调用SubmitStructSyncOrderApproval提交结构同步工单至审批流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
ExecuteSparkStatement
Kind String 是 sql 执行代码的语言是什么,取值：scala python sql 返回数据 名称 类型 示例值 描述 Data String 2 代码块提交成功后在此Spark作业中的唯一ID。RequestId String 0DC5B6F080E8-0DC5B6F080E8-0DC5B 请求ID。示例 请求示例 ...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
- 产品推荐
- 这些文档可能帮助您