计算层高可用
同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别...
接入阿里云ECS自建数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。集中模式接入 登录 DAS控制台。在控制台首页的 热荐功能 区域单击 快速实例接入。单击...
接入其他自建或其他云厂商数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。主机模式接入 登录 DAS控制台。DAS控制台首页的 热荐功能 区域单击 快速实例接入。...
AUTO模式数据库与DRDS模式数据库
方法三：通过 mysqldump 命令将原来的DRDS模式数据库的数据文件dump下来（不含建表语句），然后创建对应的AUTO模式数据库，在AUTO模式数据库下将表创建好，然后将dump下来的数据文件通过 source 命令导入目标AUTO模式数据库。Q4：AUTO模式...
数据源权限管理
什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享数据源后，引用过该数据源的任务关联信息是否会被同步分享？哪些角色可以...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
DBMS_REDACT
REGEXP：基于正则表达式的脱敏，搜索需要脱敏的数据模式。CUSTOM：自定义脱敏类型。function_parameters 指定分区脱敏的函数参数，仅适用于部分脱敏。expression 指定表的布尔表达式并确定如何应用策略。如果此策略表达式的计算结果为true...
创建数据板块
模式 描述 Dev-Prod模式 生成相互隔离的Dev和Prod数据板块，更强保障Prod数据板块中的数据安全。如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-...
创建数据板块
模式 描述 Dev-Prod模式 生成相互隔离的Dev和Prod数据板块，更强保障Prod数据板块中的数据安全。如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐 此模式。创建Dev-Prod模式数据板块，请参见 创建Dev-...
流程管控
背景信息 DataWorks的工作空间分为 标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示，在通用流程的关键节点，例如，...
SQL窗口介绍
自由操作和稳定变更模式的数据库默认返回行数为3000行（上限）。安全协同模式数据库默认返回行数为200行，系统规定查询返回行数上限为3000行。若需要调整查询返回的行数，可由管理员在 安全与规范>安全规则>SQL窗口 的 基础配置项 中修改。...
主备方案介绍
故障自动容错原理：单机宕机和集群宕机测试结果如下。以下是单机宕机吞吐对比图和单机宕机平均响应对比图。以下是集群宕机吞吐对比图和集群宕机平均响应对比图。主备容灾原理介绍 当云数据库HBase实例因不可预料的原因（例如设备故障、机房...
立即备份
库级备份时，针对不同模式的数据库，具体支持的数据库对象如下：MySQL 模式：表、视图、触发器、序列、同义词、类型、包、函数、存储过程。Oracle 模式：表、视图、函数、存储过程。说明 在进行表备份时，建议表数量控制在 200 以内。...
使用SDK示例代码消费订阅数据
消费订阅速度变慢 无 可通过查询统计信息中的参数 DStoreRecordQueue 和 DefaultUserRecordQueue 队列的大小，分析消费数据变慢的原因。查询方式，请参见 消费数据的统计信息。如参数 DStoreRecordQueue 保持为0，则表示DTS服务器拉取数据...
无锁结构变更
原因类别（必填）选择变更的原因，方便后续查找。业务背景（必填）详细描述变更原因或目标，减少沟通成本。执行方式（必填）选择 最后一个审批人执行。影响行数（必填）预估本次更新会影响的数据行数，可在 SQL Console 以 count 统计。...
安全设置
操作 默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式（开启）当前项目Dev环境的所有表操作 支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全...
安全设置
操作 默认（权限模式均未开启）跨项目安全模式（开启）生产数据安全模式（开启）当前项目Dev环境的所有表操作 支持-当前项目Prod环境的所有表操作 支持-不支持 跨项目查询 支持-跨项目DDL 支持 不支持-说明-表示当前操作不受 跨项目安全...
周期任务补数据
如果主键或来源表未发生变更，您可以选择全表补数据模式或指定字段补数据模式：全表：适用于数据表的所有字段都需要补数据的场景。说明 不包括注册上挂字段。指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：...
周期任务补数据
如果主键或来源表未发生变更，您可以选择全表补数据模式或指定字段补数据模式：全表：适用于数据表的所有字段都需要补数据的场景。说明 不包括注册上挂字段。指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：...
概述
说明 关于AUTO模式数据库与DRDS模式数据库的介绍，请参见 AUTO模式数据库与DRDS模式数据库。原理 在 PolarDB-X 中，如果创建表时通过 AUTO_INCREMENT 指定了自增列，为了保证自增列的全局唯一性，则自动为该表创建并关联一个Sequence对象，...
禁用或启用实例
说明 实例被禁用的原因可能是购买的管控模式或敏感数据保护商品未及时续费。启用实例 筛选出已被 禁用 的实例，在目标实例右侧的 操作 列下，选择 更多>启用实例，单击 确认。说明 启用实例前，您需要根据禁用原因调整实例信息。例如，禁用...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
进入组件分析模式
DataV组件分析模式提供与原有组件的数据和样式配置不同的创作模式，采用以数据为核心、自动化样式配置、探索式构建视图的流程设计。通过优化数据视图绑定操作，方便您使用基于数据生成的模型创作可视化应用。本文介绍三种使组件进入BI分析...
多租户管理使用说明
简介 PolarDB MySQL版 提供的多租户模式，可以使得多个租户在同一个集群下共享计算资源和存储资源，且保证各租户下的数据隔离和资源隔离。各个租户仅能访问到自己的数据，租户之间不会出现资源争抢，以保证业务的稳定运行。技术原理如下图...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
迁移
例如，若您源库为 PolarDB-X 1.0 实例中的数据库，名称为“test1”，目标库为 PolarDB-X 2.0中的AUTO模式数据库，名称为“test2”，则需在 PolarDB-X 2.0实例中创建DRDS模式数据库作为中继数据库，名称为“test2_drdstoauto”。创建的目标...
数据传输服务（上传）场景与工具
数据投递：您可以通过已集成流式写入API的数据投递模式实现流式数据写入。支持SLS、消息队列 Kafka 版方式。数据采集：MaxCompute支持将开源 Logstash 收集的日志数据流式写入MaxCompute。Flink实时写入：您可以通过 Flink 平台对流式数据...
多值数据写入
而且返回的errors中只会返回第一个引发失败的数据点及其失败原因（直接原因），该批次的其他数据点不会包含在 errors 中，只会体现在统计信息 failed 中。该模式适用于业务监控数据上报时对于上报数据存在统计需求且需要失败定位时的场景。...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
BigQuery数据源
离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader...
常见问题
为什么迁移后存储在 DAS企业版 V3中的数据量比迁移前存储在 DAS企业版 V1 中的数据量少很多？DAS企业版 V3超出最近7天的数据，采用的存储方式是冷数据存储，相较DAS企业版 V1数据的存储方式，数据没有全文索引等信息，并且底层采用snappy对...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
创建AnalyticDB for MySQL3.0数据源
方式二：通过连接串模式创建数据源 使用该模式创建的数据源不支持用于数据开发和调度，只能用于数据同步。创建数据源配置如下。配置基础信息。参数 说明 数据源名称 定义数据源在DataWorks的名称，名称必须唯一。配置模式 选择连接串模式。...
权限管理与规范化数据开发
本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程，帮助您快速掌握规范化的数据体系建设流程，提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...
创建AnalyticDB for PostgreSQL数据源
使用连接串模式创建的数据源不支持用于数据开发或周期性调度任务，只能用于数据同步。详情请参见 创建数据源。仅支持使用独享数据集成资源组、独享调度资源组运行AnalyticDB for PostgreSQL任务，详情请参见 新增和使用独享数据集成资源组...
SelectDB数据源
离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源...
StarRocks数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
DataV分析模式介绍
本教程主要介绍DataV分析模式的基本概念，帮助用户以灵活、0代码、自动化的方式使用数据和分析数据，支持数据的下钻和联动分析。前提条件 在您了解组件分析模式这部分内容前，您需要提前了解DataV6.0数据集：请参见 DataV6.0数据集介绍。...
- 产品推荐
- 这些文档可能帮助您