什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
资源角色
可查询实例下所有数据库中的数据（不包含敏感字段），提交各类数据方案与库表结构的工单。对应于审批节点中 动态计算 的DBA。实例Owner 每个实例可以设置3个实例Owner。云数据库资源默认主账号为实例Owner。非云数据库默认当前录入的云账号...
入库审批
入口三：对于 未加入到工作空间 数据提交者，可以从消息中心查看审批状态。说明 未加入工作空间者提交数据时，点击立即提交时提示 无访问权限，需要表格拥有者开启 公开链接 分享后即可进入。审批链路 为了您能够更直观地了解，本文将分为 ...
使用说明
但 commit in middle 并不能遵循严格意义上的事务原子性（Atomicity），因此您在使用过程中需要注意如下几点：假设需要开启一个事务插入大量数据，但在数据插入过程中，由于 commit in middle 功能，已经先提交了一部分数据，其它请求就...
基于Client SDK数据写入
针对Client抛出的异常，调用方要根据错误码的意义自行判断如何处理，如果是数据写入有问题，可以重复提交或者记录下有问题的数据后跳过。很多时候写入线程并不是越多越好，因为业务程序会涉及到攒数据的场景，对内存的消耗是比较明显的，...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）Writer累积一定数据，提交给DRDS（PolarDB-X）的Proxy，该Proxy内部决定数据是写入一张还是多张表，以及多张表写入时如何路由数据。说明 整个任务至少需要具备 replace into 的权限。是否需要其它权限，取决于您配置任务...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
事务隔离
当一个事务使用这个隔离级别运行时，一个查询（没有 FOR UPDATE/SHARE 子句）只能看到查询开始之前已经被提交的数据，而无法看到未提交的数据或在查询执行期间其它事务提交的数据。实际上，SELECT 查询看到的是一个在查询开始运行的瞬间该...
使用do-while节点实现复杂的数据分析
提交节点 双击do-while节点，在右侧的节点页面进行如下操作：重要 您需要设置节点的 重跑属性 和 依赖的上游节点，才可以提交节点。单击工具栏中的 图标。在 提交 对话框中，选中需要提交的节点，输入 备注。单击 提交。如果您使用的是标准...
数据追踪
在DMS的SQL窗口中对数据库进行变更操作时，可能由于误更新、误删除、误写入等原因导致数据不符合预期。DMS 的数据追踪功能支持按需查找目标时间段内（数据库Binlog保存时长内）的相关更新信息，并生成回滚脚本，帮助您快速将数据恢复到变更...
表设计最佳实践
源数据采集客户端太多时，如果源数据通过Tunnel直接进入到一个分区，则每个源数据采集客户端提交一次数据，都会在同一分区下产生一个独立的文件，从而导致大量小文件的出现。当SLS触发FunctionCompute持续高频地向MaxCompute中传入文件时，...
消息通知管理
事件类型 DMS支持通知的事件类型如下：模块 类别 状态 工单模块 权限申请 待审批 审批通过 审批拒绝 数据变更 预检验失败 待提交审批 待审批 审批通过 审批拒绝 执行成功 执行失败 待调度 调度超时 数据导出 预检验失败 待提交审批 待审批 ...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
审计日志
SubmitPublishStandard 提交上线数据标准。RepublishStandard 重新发布数据标准。WithdrawPublishStandard 撤销发布数据标准。UnpublishStandard 下线数据标准。DeleteStandard 删除数据标准。ImportStandards 批量导入数据标准。...
访问JDBC外表
数据访问 您可以通过以下方法配置并提交外部数据源的Spark作业，然后通过Spark SQL完成外部数据源的访问。JDBC开发实践 JAR作业开发实践 Python作业开发实践 访问示例一：读取外部JDBC数据表（db0.mysql_tbl0）并关联Hive表（hive_tbl0），...
使用DMS数据追踪进行恢复
数据追踪功能可以快速按需找到目标时间段内的相关更新信息，并生成逆向回滚语句。...后续步骤 导出回滚脚本后，您可以提交普通数据变更工单，将此回滚脚本作为附件上传至工单中，执行至目标数据库中。更多信息，请查看 普通数据变更。
项目管理（新版）
开启成默认数据传输服务资源组 的值为开启时，该项目默认提交的数据传输服务会自动使用数据传输服务（包年包月）资源组。开启成默认数据传输服务资源组 的值为关闭时，该项目默认提交的数据传输服务会自动使用Default资源组。说明 如果需要...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
配置并管理实时同步任务
如果在kafka集群发生响应异常的情况下，仍要确保有主键表同主键的变更有序写入kafka的同一分区，则需要在配置kafka数据源时，在扩展参数表单中加入如下配置。{"max.in.flight.requests.per.connection":1,"buffer.memory":100554432}。重要...
一键实时同步至Kafka
如果在kafka集群发生响应异常的情况下，仍要确保有主键表同主键的变更有序写入kafka的同一分区，则需要在配置kafka数据源时，在扩展参数表单中加入如下配置。{"max.in.flight.requests.per.connection":1,"buffer.memory":100554432} 重要 ...
Quick BI如何复制数据填报的表单
概述 本文为您介绍Quick BI如何复制数据填报的表单。详细信息 通过复制表单的功能，可以完成填报表单的复制，复制的表单支持修改数据源、物理表名以及字段名。适用于 Quick BI（专业版）
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
申请与审批权限
在Quick BI中，普通用户可以申请资源对象的权限，资源Owner可以批量审批任务的权限。背景信息 Quick BI提供了...“我已处理”页面中，展示所有填报数据入库审批人设置为当前用户已审批的填报表单列表，包括审批状态为已通过以及已拒绝的申请。
概述
功能优势 数据填报是指0代码在线数据收集工具，用于用户一站式完成自定义表单、智能数据上报、数据统计和分析：一站式：一站式完成数据收集、数据建模、数据分析和可视化结果呈现。简单易用：0代码搭建表单，提供丰富的组件，降低门槛，...
新建数据填报
通过Quick BI的数据填报功能，为目标数据源建表及插入数据。本文为您介绍如何新建数据填报。仅高级版和专业版群空间支持创建数据填报。前提条件 已创建好MySQL类型的数据库，且连接数据源的账号在数据库中有操作表的权限。即需要有数据库的...
强一致分布式事务
例如转账事务在多个数据节点的提交有先后时间差，已提交的分支事务因为数据版本号不满足可见性，正在提交的事务数据全部不可见，从而确保总额数据读取的一致性。分布式事务的下游生态 读写分离的一致性 事务型的分布式数据库一般会采用读写...
查看并管理待提交实例
待提交实例是对周期任务发起定时补数据操作时产生的实例，待提交实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待提交实例页面，对待提交实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待提交实例。待提交 ...
实时数据订阅概述
云原生多模数据库 Lindorm 支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何一个表的...
导入数据
本文介绍如何在SQL Console页面通过提交工单导入数据至数据库。使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、...
常见问题
填写 试用申请表单，并单击 提交。在提示对话框中，单击进入 试用控制台。试用入口和产品正式控制台入口不同，请从申请提示框中的 试用控制台 入口进入控制台。关于产品使用的更多操作，请参见 快速实现数据分类分级。我已免费试用过数据...
查看并管理手动任务
③ 任务代码区 数据开发模块 提交的手动任务，支持查看任务计算任务。数据集成模块 提交的手动任务，默认展示管道任务上下游组件。您也可以单击页面上方的 查看节点代码，查看管道任务的节点脚本。手动任务详情支持的操作 手动任务详情为您...
备份恢复（Serverless版本）
AnalyticDB PostgreSQL版Serverless版本 于V1.0.0.0内核版本提供了备份恢复功能，该功能默认开启，...数据恢复 AnalyticDB PostgreSQL版Serverless版本 暂不支持自助恢复数据，如需恢复数据，请 提交工单 联系技术支持协助您完成恢复工作。
MaxCompute函数管理
您可以在MaxCompute函数面板查看数据开发页面提交或发布的函数，详情请参见 创建并使用自定义函数。单击某项函数，即可查看其详细信息。MaxCompute函数默认显示 生产环境 下的函数。如果您需要查看提交但未发布的函数，请单击 图标切换环境...
- 产品推荐
- 这些文档可能帮助您