主备方案介绍
故障自动容错原理：单机宕机和集群宕机测试结果如下。以下是单机宕机吞吐对比图和单机宕机平均响应对比图。以下是集群宕机吞吐对比图和集群宕机平均响应对比图。主备容灾原理介绍 当云数据库HBase实例因不可预料的原因（例如设备故障、机房...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
接入阿里云ECS自建数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。集中模式接入 登录 DAS控制台。在控制台首页的 热荐功能 区域单击 快速实例接入。单击...
查询用户OSS或专属存储的归档数据
本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS...同一个工单的周期归档会根据归档的时间生成不同时间段的数据归档，所以可以通过创建数据归档的时间，判断并查询目标时间段的数据归档。
时间轴
图表样式 时间轴支持自定义时间轴的节点标签样式、事件节点样式以及交互等配置，适用于在可视化应用中展示不同时间段的数据变化情况，比如使用时间轴组件实现数据轮播。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
CREATE DATABASE
partition_interval BIGINT 分区时长，同一时间段的数据和索引存储在一个时间分区，单位为天。关于默认值，需注意以下内容：3.4.19及以上版本的时序引擎，partition_interval 参数默认值为30。3.4.19之前版本的时序引擎，partition_...
接入其他自建或其他云厂商数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。主机模式接入 登录 DAS控制台。DAS控制台首页的 热荐功能 区域单击 快速实例接入。...
基础版
说明 由于基础版只有一个数据节点，没有备节点作为热备份，因此当该节点意外宕机或者执行变更配置、版本升级等任务时，会出现一段时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版，可选择其他系列（如高可用版）。基础...
查询结果不符合预期的常见原因
只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现数据写入后非预期不可见的情况。但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
颜色映射
颜色模板样式 地图示例 分段映射 适用于在连续映射型映射的基础上，对连续的数值进行分区，将同一数值区间内的数据归为一类，并将此区间内的数据填充相同颜色的情况。使用分段映射型映射，可以减少颜色数量，避免视觉混乱。颜色模板样式 ...
基本概念
所以为保障数据一致性，迁移期间请勿在源库中写入新的数据。说明 为保证数据一致性，建议迁移期间不要往源数据库中写入新的数据。如需实现不停机迁移，您需要在配置数据迁移任务时，同时选择结构迁移、全量数据迁移和增量数据迁移。增量...
如何处理Tair集群数据倾斜
数据倾斜的原因与处理方法 请提前规划业务增长率，合理地拆分大Key，并保持规范的数据写入，才能解决数据倾斜的根源问题。产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value...
如何处理Redis集群数据倾斜
数据倾斜的原因与处理方法 请提前规划业务增长率，合理地拆分大Key，并保持规范的数据写入，才能解决数据倾斜的根源问题。产生倾斜原因 说明 处理方法 大Key 大Key通常以Key的大小和Key中成员的数量来综合判定。常见于在KKV（Key-key-value...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
敏感数据访问及导出情况
数据访问页面为您展示基于配置规则识别出的敏感数据的访问量、访问趋势、导出量和导出明细等，帮助您掌控每一次访问敏感数据的情况。该页面E-MapReduce计算...包括查询时间段内的数据导出的总量、每天导出的数据量和数据导出总量的前五名。
数据倾斜诊断
消除数据倾斜 导致数据倾斜的原因一般都是分布键选择不正确。例如，一张表的某个字段的相同值特别多时，如果选择了该字段作为分布键进行HASH分布，就会导致该字段的这些相同值所在的计算节点上的数据比其他计算节点上的数据多。为了避免...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
可用性与可靠性
异常时自动切换节点，宕机时自恢复来保证极致的可用性，还可以通过备份恢复来进行数据恢复。主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
区间柱形图
图表样式 区间柱形图是移动端组件中柱形图的一种，支持通过获取数据的最小值和最大值之间的范围，展示不同类目下柱图的数据样式，能够更加清晰地展示各类目数据区间范围分布的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，...
区间柱形图
图表样式 区间柱形图是移动端组件中柱形图的一种，支持通过获取数据的最小值和最大值之间的范围，展示不同类目下柱图的数据样式，能够更加清晰地展示各类目数据区间范围分布的差异。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，...
迁移或同步指定时间段内的数据
如果您想要将源HBase集群或源Lindorm实例中某个时间段的历史数据迁移至新的Lindorm实例，或想要同步实时数据到新Lindorm实例，可以在创建任务时添加相关时间参数，修改任务配置。本文介绍通过LTS控制台创建任务时配置迁移或同步时间范围的...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
功能发布记录（2024年）
2024-03 功能名称 描述 发布时间 发布地域 使用客户 相关文档 新版补数据功能上线 周期任务开发完成并提交发布后会按照调度配置定时运行，若您希望在指定时间段运行周期任务，可使用补数据功能。补数据可通过补历史或未来一段时间的数据，...
数据分析整体趋势
市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的数据分析需求。据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从...
数据表管理
功能介绍 调整拆分键 拆分键即分库或分表的数据表字段，用于生成拆分规则。PolarDB-X 1.0 支持在控制台上对拆分键进行调整。在 PolarDB-X 1.0 中，一张逻辑表的拆分方式由拆分函数（包括分片数目与路由算法）与拆分键（包括拆分键的MySQL...
Kafka实时ETL同步至Hologres
在弹出对话框中指定好 开始时间 和 采样条数 后，单击 开始采集 按钮，可以对指定的Kafka Topic进行数据采样，同时您可以预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。编辑数据处理节点。单击 图标可以增加数据...
SQL 条件过滤数据
如果您需要过滤某个时间段内的数据，请使用 and 或 or 语句。例如，您需要过滤 2021 年 12 月 31 日至 2022 年 4 月 1 日之间的数据，请输入 `init_date`>'20211231' and `init_date`。过滤条件中需要使用英文单引号（'）。例如 `address` ...
Spark常见报错
例如：访问RDS数据源时，若指定交换机的IP地址段不在RDS的白名单中，则需将指定的交换机IP地址段添加到RDS的白名单。检查当前Spark作业中指定的安全组是否开放了目标数据源的端口访问权限。具体操作，请参见 添加安全组规则。例如：访问RDS...
新建 MySQL 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移项目仅支持选择指定 Database Name 下的迁移对象。备注 数据源的...
新建 Oracle 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Schema Name Oracle 数据库的 Schema 名称。说明 如果您配置了 Schema Name，当数据源作为源端时，数据迁移或数据同步项目仅支持选择指定 Schema Name 下的迁移或同步...
附录：ECS自建数据库的安全组配置
添加安全组 进行ECS自建数据源的数据同步时，如果同步任务运行在：独享数据集成资源组上 需要将独享数据集成资源组的EIP地址段或独享数据集成资源组绑定的交换机网段添加至ECS安全组上。通过外网同步数据时，需获取并添加独享资源组本身的...
补数据
产生原因 补数据并行控制是，补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行，当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
功能特性
一键诊断 诊断报告 对指定时间段的数据库实例运行状况发起诊断并输出报告，从慢日志、表空间、性能趋势等多方面评估数据库实例的健康状况，快速定位实例的异常情况。诊断报告 SQL自治 会话管理 实时查看目标数据库实例的会话信息，并提供...
通过脚本模式配置离线同步任务
离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已...
授权和回收数据板块权限
授权原因 填写授予数据板块权限的原因。单击 确定，完成数据板块权限的授权。回收数据板块权限 按照下图操作指引，进入 数据板块回收 对话框。在 数据板块回收 对话框，配置参数。参数 描述 回收用户 选择需要回收数据板块权限的用户。逻辑...
授权和回收数据板块权限
授权原因 填写授予数据板块权限的原因。单击 确定，完成数据板块权限的授权。回收数据板块权限 按照下图操作指引，进入 数据板块回收 对话框。在 数据板块回收 对话框，配置参数。参数 描述 回收用户 选择需要回收数据板块权限的用户。逻辑...
- 产品推荐
- 这些文档可能帮助您