常见问题
Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：...
数据去重
用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，...
按时间戳冷热分离
如果有大量请求需要去查询冷数据，则需要考虑当前 COLD_BOUNDARY 设置的值是否会导致系统查询的冷数据过多进而影响查询效率。如果一行数据已经在冷存储，但这行数据后续有更新，更新的字段会先保存在热存储。如果此时设置 HOT_ONLY 或 ...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
RDS MariaDB迁移至RDS PostgreSQL
类型 说明 源库限制 待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务至多支持1000张表。当超出数量限制，任务提交后会...
PolarDB MySQL版间迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
RDS MariaDB同步至RDS PoatgreSQL
类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交...
Db2 for LUW同步至PolarDB-X 2.0
待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整...
自建Oracle同步至MaxCompute
类型 说明 源库限制 同步对象要求：待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如果您的自建Oracle版本为12c及以上，待同步表的名称长度需不超过30个字节。如同步对象为表级别，且需进行...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整...
从Amazon Aurora PostgreSQL迁移至阿里云
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，导致源...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
RDS MySQL/MariaDB版实例CPU使用率较高
对于查询数据比较静态、查询重复度高、查询结果集小于1MB的应用，考虑开启查询缓存（Query Cache）。说明 能否从开启查询缓存（Query Cache）中获益需要经过测试，具体设置请参见 RDS MySQL查询缓存（Query Cache）的设置和使用。定期归档...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
常见问题
搜索索引的数据一致性默认为最终一致，数据写入宽表后需等待1-15秒后才可查询，如果希望数据能更快可查询，请 提交工单 咨询。二级索引的数据一致为强一致，数据写入宽表即可查询。为什么已购买搜索引擎，使用搜索索引还需要单独开通？搜索...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
数据查询
在开发调试或者生产运维过程中，往往需要去HBase中查询某条数据。除了使用HBase shell来写Get、Scan请求，Lindorm insight提供了一个简单的SQL查询入口，您可以使用SQL语法来查询HBase增强版宽表数据。前提条件 已登录目标集群的集群管理...
重复列表
说明 该组件根据配置的数据源展示重复数据的个数。开启分页器后，最多展示个数为 每页数量，列表下方显示 点击加载更多。全部数据加载完，列表底部显示 已经展示全部。在中间画布，双击该组件。在组件编辑页面右侧 样式 栏，设置列表展示...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
API概览
DescribeRenewalPrice 查询实例续费一个月的价格 查询指定MongoDB实例续费一个月的价格。TransformToPrePaid 将按量付费实例转换为包年包月实例 将按量付费的MongoDB实例转换为包年包月（预付费）实例。RenewDBInstance 手动续费包年包月的...
数据归档至AnalyticDB PostgreSQL版
注意事项 推荐您使用资源类型为Serverless模式作为目标数据归档引擎，可以享受超低存储价格和高性能数据分析，同时，在后续创建数据归档工单过程中，选中 成本最优，可以实现归档时自动启动实例、归档后自动暂停实例。若在数据归档过程中...
PolarDB的高级脱敏
高级脱敏功能具有但不限于如下特性：统一管理敏感数据 敏感数据分类分级 周期性扫描敏感数据 主动发现敏感数据 应用场景 实时从生产环境中的数据库（即生产库）获取用户已脱敏的数据来进行报表生成、数据分析、开发测试等。前提条件 已录入...
半结构化分析
其中，JSON数据类型直接存储输入文本，会保存JSON数据中语义无关的空格，并且会保持JSON对象键的顺序，以及JSON数据中重复的键和键对应的数据。对于重复键在查询的时候会将最后一个遇到键的值当作有效值。JSONB数据类型则是以二进制格式来...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
云数据库Redis间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service，简称DTS），实现 云数据库Redis 间的迁移。前提条件 已创建源和目标 云数据库Redis。说明 源和目标 云数据库Redis 的创建方式，请参见 创建Redis实例。支持的版本，请参见 ...
冷热分离介绍
同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，...
一站式HTAP服务
在重度OLAP的业务场景中，通常需要将数据从OLTP数据库中导出，然后将数据迁移并导入到专业的OLAP数据仓库，在数据仓库中进行大规模的分析型查询。专业的数据仓库通常会把每个列的数据以连续的形式保存在存储介质上，并提供向量化模型的执行...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整...
产品计费
数据查询费用 0.2元/GB 0.3元/GB 查询冷存储的数据时，按量收取数据查询费用。企业版 V1 和V0 重要 仅企业版 V1收取包年包月的费用。公共云 计费项 计费方式 定价 说明 包年包月的费用 包年包月 40元/实例/月 用于计费的实例数量指您在购买...
表引擎
虽然ReplacingMergeTree表引擎提供了主键去重的能力，但是仍然存在很多限制，因此ReplacingMergeTree表引擎更多被用于确保数据最终被去重，而无法保证查询过程中主键不重复，主要限制如下。在分布式场景下，相同主键的数据可能被分布到不同...
查看同步任务
数据同步目前仅支持at least once语义，在网络服务异常等小概率场景下可能会导致目的端的数据产生重复，需要做去重处理。DataConnector支持系统 目标系统 时效性 是否支持vpc 描述 MaxCompute（ODPS）准实时，通常情况5分钟延迟 No 同步...
OCS与数据库结合使用示例
运行结果如下：从MySQL中查询数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL...
概述
事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据（包括：数据、特征和模型）服务来解决这种割裂状态，大大减少数据驱动的智能...
增量查询
Clustering和Compaction操作都会产生新的数据文件，但并没有增加新的逻辑数据行，只是把原有的记录进行了组织编排优化，因此新产生的数据文件中的记录不应该作为新增数据重复输出，为此，增量查询做了专门设计优化，会剔除掉这些记录，也...
质量规则模板类型
字段重复值个数校验 用于对单个字段重复且多余的数据进行校验。及时性 时间函数比较 用于对单字段和业务日期之间的及时性的对比。单表时间字段比较 用于对同一表的两列的时间差进行比较。两表时间字段比较 用于对不同表的两列的时间差进行...
- 产品推荐
- 这些文档可能帮助您