发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
表设计最佳实践
在写入数据前进行数据的采集和整合，整合好后，一次性提交数据（通常是每64 MB提交1次）。日志数据很少会对原来分区执行更新操作，可以用INSERT操作进行少量数据的插入，但通常需要限制插入次数。如果有大量的更新操作，需要采用INSERT ...
请求CDN加速域名出现跨域问题并提示“The 'Access-...
问题描述 请求CDN加速域名出现跨域报错，具体信息如下：The 'Access-Control-Allow-Origin' header has a value 'xxx' that is not equal to the supplied origin 问题原因 从问题描述的内容可以看出，CDN响应的Access-Control-Allow-...
事务隔离
当一个事务使用这个隔离级别运行时，一个查询（没有 FOR UPDATE/SHARE 子句）只能看到查询开始之前已经被提交的数据，而无法看到未提交的数据或在查询执行期间其它事务提交的数据。实际上，SELECT 查询看到的是一个在查询开始运行的瞬间该...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
访问JDBC外表
数据访问 您可以通过以下方法配置并提交外部数据源的Spark作业，然后通过Spark SQL完成外部数据源的访问。JDBC开发实践 JAR作业开发实践 Python作业开发实践 访问示例一：读取外部JDBC数据表（db0.mysql_tbl0）并关联Hive表（hive_tbl0），...
消息通知管理
事件类型 DMS支持通知的事件类型如下：模块 类别 状态 工单模块 权限申请 待审批 审批通过 审批拒绝 数据变更 预检验失败 待提交审批 待审批 审批通过 审批拒绝 执行成功 执行失败 待调度 调度超时 数据导出 预检验失败 待提交审批 待审批 ...
数据追踪
若影响较大，您可提交普通数据变更工单将此回滚脚本作为附件上传至工单中，执行至目标数据库中。具体操作，请查看 普通数据变更。使用API进行数据追踪。CreateDataTrackOrder-创建数据追踪工单 GetDataTrackJobDegree-获取数据追踪任务进度...
使用DMS数据追踪进行恢复
数据追踪功能可以快速按需找到目标时间段内的相关更新信息，并生成逆向回滚语句。...后续步骤 导出回滚脚本后，您可以提交普通数据变更工单，将此回滚脚本作为附件上传至工单中，执行至目标数据库中。更多信息，请查看 普通数据变更。
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
入库审批
数据填报提交表单入库时，为了避免脏数据的录入、保障数据的准确性，可以通过入库审批功能对数据进行校验以及审批后完成录入。使用限制 仅专业版支持入库审批。1.审批前置条件 1.1 系统审批开启 1.1.1 操作入口 开启审批流，并勾选对应的 ...
概述
如果自动提交模式打开，则会立即提交每个成功的数据库更新，并且无法撤消。打开或关闭自动提交模式的方式取决于应用程序。事务在 SPL 程序中遇到第一个 SQL 命令时开始。所有后续的 SQL 命令都包含在该事务中。当发生以下任一情况时，事务...
基于Client SDK数据写入
针对Client抛出的异常，调用方要根据错误码的意义自行判断如何处理，如果是数据写入有问题，可以重复提交或者记录下有问题的数据后跳过。很多时候写入线程并不是越多越好，因为业务程序会涉及到攒数据的场景，对内存的消耗是比较明显的，...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
审计日志
SubmitPublishStandard 提交上线数据标准。RepublishStandard 重新发布数据标准。WithdrawPublishStandard 撤销发布数据标准。UnpublishStandard 下线数据标准。DeleteStandard 删除数据标准。ImportStandards 批量导入数据标准。...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
安全中心
之前在数据管理提交的权限申请，仍未通过审批，是否需要重新申请？如何设置字段的LabelSecurity？通过安全中心可以申请什么权限？您可以通过 安全中心 页面申请DataWorks工作空间内的表权限，包括开发环境和生产环境。数据管理和安全中心是...
使用说明
但 commit in middle 并不能遵循严格意义上的事务原子性（Atomicity），因此您在使用过程中需要注意如下几点：假设需要开启一个事务插入大量数据，但在数据插入过程中，由于 commit in middle 功能，已经先提交了一部分数据，其它请求就...
数据治理中心概述
数据治理逻辑 数据治理问题检测包括数据开发任务提交发布前的检查项检测，及提交发布后的治理项检测，帮助您全方位管控当前数据存在的待治理问题。当触发检测项后，若校验不通过，则会生成相应事件（严重问题将阻塞开发流程），您需通过...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）Writer累积一定数据，提交给DRDS（PolarDB-X）的Proxy，该Proxy内部决定数据是写入一张还是多张表，以及多张表写入时如何路由数据。说明 整个任务至少需要具备 replace into 的权限。是否需要其它权限，取决于您配置任务...
使用do-while节点实现复杂的数据分析
当您需要对一组数据或任务进行多次处理，直到满足某个条件才停止时，您可以使用 do-while 节点来自动化重复执行，简化复杂任务的操作步骤，以提高任务的执行效率和可靠性。本文以统计电商行业中的订单数据为示例，为您介绍如何使用 do-...
API概览
GetTransitRouterFlowTopN 获取跨域流量详情数据排名 调用GetTransitRouterFlowTopN接口，获取跨域流量详情数据排名，覆盖一元组、二元组、五元组粒度，支持按流量、包数等指标排序。自助诊断 API 标题 API概述 ...
创建 CORS 规则
为此，W3C 提供了一个标准的跨域解决方案：跨域资源共享（Cross-Origin Resource Sharing，CORS），支持安全的跨域请求和数据传输。操作步骤 进入 API 网关控制台页面，在左侧导航栏中选择 API 发布>CORS 管理，进入 CORS 配置 页面。单击 ...
跨域资源共享
为此，W3C 提供了一个标准的跨域解决方案：跨域资源共享（Cross-Origin Resource Sharing，CORS），支持安全的跨域请求和数据传输。浏览器将 CORS 请求分为以下两类：简单请求 预检请求：防止资源被本来没有权限的请求修改的保护机制。浏览...
配置发布API
POST：向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中，POST请求额能导致新的资源的建立和/或已有资源的修改。PUT：HTTP1.1从客户端向服务器传送的数据取代指定的文档的内容。DELETE：HTTP1.1请求...
GetTransitRouterFlowTopN-获取跨域流量详情数据排名
调用GetTransitRouterFlowTopN接口，获取跨域流量详情数据排名，覆盖一元组、二元组、五元组粒度，支持按流量、包数等指标排序。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
查看并管理待提交实例
待提交实例是对周期任务发起定时补数据操作时产生的实例，待提交实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待提交实例页面，对待提交实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待提交实例。待提交 ...
云边通信组件Raven概述
由于跨域通信通过公网传输，可能存在数据丢失风险，请勿传输重要业务数据。如在使用过程中遇到问题或有相关产品建议，请 提交工单。展开查看隧道模式功能原理 针对边缘节点和云上节点，Raven Agent会在本网络域内构建VXLAN网络，新增一个...
使用云边通信Raven组件
由于跨域通信通过公网传输，可能存在数据丢失风险，请勿传输重要业务数据。如在使用过程中遇到问题或有相关产品建议，请 提交工单。关于两种通信模式的更多信息，请参见 通信模式。accessControlListEntry 访问控制白名单条目。放行的边缘...
查看并管理待生成实例
待生成实例是对周期任务发起定时补数据操作时产生的实例，待生成实例将在未来时间段生成可运行实例并提交执行补数据。您可以在待生成实例页面，对待生成实例执行暂停、恢复、重试等操作。本文为您介绍如何查看并管理待生成实例。待生成 ...
DevOps概述
例如，企业需要提交多个数据变更工单进行数据变更，则可以使用 DMS 的DevOps，将不同的工单整合到一个连续的流程中。DevOps使用流程 新建迭代模板。迭代模板提供了自定义研发流程和控制研发流程质量的功能，该功能可以在数据变更、结构设计...
- 产品推荐
- 这些文档可能帮助您