实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
慢日志分析
在 慢日志明细 区域，默认展示所有慢日志的详细信息（执行开始时间、数据库名称、慢查询语句、执行时长、连接数据库的主机地址），您可以单击 设置 进行过滤。说明 集群架构与读写分离架构实例的 连接数据库的主机地址 默认为Proxy IP地址...
查询慢日志
代理慢日志 代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...
产品规格和定价
您购买TSDB实例将根据选择的『实例规格』和『存储空间』计算价格...那么：时间线总数=数据采集点数=10000 16=160000写入能力TPS=160000(1/20)=8000 数据点/秒 此时，可以选择购买“基础版 I”规格实例，存储空间根据实际存储的数据量来购买。
备份PostgreSQL数据
若数据量较大，花费的时间可能较长，请耐心等待。备份文件有保留时间，请及时下载需要保留的备份文件到本地。费用说明 实例有备份空间免费额度，若备份集存储量未超过免费额度，备份不收费；超过后将收取备份存储费用。免费额度以及计费...
MongoDB 3.4（已停止新购）
使用MongoDB工具将自建数据库迁移至副本集实例 使用MongoDB工具将自建数据库迁移至分片集群实例 使用NimoShake工具将Amazon DynamoDB数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用...
配置离线数据集成节点
运行时间与数据规模成正比，数据规模越大，运行耗时时间越长。如果执行日志的最后一行出现 status SUCCEEDED，表明任务试运行成功。试运行成功后，您可以在目标库的SQL窗口中，查询目标表中已迁移的数据。如果执行日志的最后一行出现 ...
搜索（审计）
这是因为SQL洞察记录所有数据库行为，会记录大量SQL语句，在线查询选择时间范围过大，会导致长时间没有返回查询结果，甚至查询超时。说明 只能查询开启DAS 企业版 后且在SQL数据存储时长范围内的数据。如果需要查询更大时间范围的SQL记录，...
MongoDB 5.0新特性概览
MongoDB的时间序列集合以高度优化和压缩的格式自动存储时间序列数据，减少了存储大小和I/O，以实现更好的性能和更大的规模。同时也缩短了开发周期，使您能够快速建立一个针对时间序列应用的性能和分析需求而调优的模型。创建时间序列数据...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过...全量抽取：抽取元数据时扫描全量数据文件，在数据规模比较大时，作业消耗时间长，抽取结果更准确。5.确认任务执行的相关参数，点击 保存并立即执行。
名词解释
本文介绍Lindorm SQL语法的常见术语。Lindorm宽表引擎和时序引擎对术语...当查询时间区间跨度较大，且原始数据采样频率较高时，可以通过降采样降低数据的时间粒度。例如，按秒采集的数据，降采样查询时按小时级别采样，减少结果集的数据点数。
表设计最佳实践
在单个数据通道写入量较大的情况下，应该按照时间进行分区设计。在采集通道数据量较小的情况下，适合采取非分区表设计，将终端类型和采集时间设计成标准列字段。采用DataHub进行数据写入时，应该合理规划Shard数量，避免出现由于Shard过多...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
TSDB全量迁移至时序引擎
本文介绍时间序列数据库（Time Series Database，简称TSDB）全量迁移至 云原生多模数据库 Lindorm 时序引擎的方法。前提条件 已安装Linux或者macOS操作系统，并且安装以下环境。已安装Java环境，版本为JDK 1.8及以上。已安装Python环境，...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
恢复云数据库MongoDB单个或多个数据库
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 费用说明 使用恢复单个或多个数据库功能将创建一个新的实例并产生相关费用，详情请参见 计费项。操作步骤 登录 MongoDB...
概述
维度建模 DataWorks的数据建模理念遵循维度建模思想，使用DataWorks的维度建模功能进行数据仓库建模设计时：维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
数据迁移和同步方案概览
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 使用限制 单节点实例不支持增量数据迁移与同步。数据迁移方案 您可以通过以下方式迁移MongoDB数据库的数据。重要 单节点...
恢复数据库
规格越高恢复速度越快，数据量越大恢复所需的时间也就越长。更多信息，请参见 备份恢复性能说明。操作步骤 说明 本示例仅介绍通用配置流程，不同数据库引擎的恢复配置略有不同。关于各类数据库引擎的详细配置案例，请参见 备份与恢复概览。...
查询数据
获取按时间戳由小到大排序的数据点集合 System.out.println(queryResult.getOrderDps());System.out.println("-");获取按时间戳由大到小排序的数据点集合 System.out.println(queryResult.getOrderDps(true));} } catch...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
DMS数据管理预案助力业务大促
背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
配置订阅任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据订阅功能简单易用，您只需在控制台上进行简单操作，即可完成数据订阅任务的配置。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同...
创建RDS MySQL数据订阅任务
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
MaxCompute近实时增全量一体化架构介绍
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Transaction Table2.0推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前...
离线同步任务调优
若Detail log中显示 WaitReaderTime 参数值大，表示等待从源端返回数据时间较长。源端切分键不合理。基于切分键进行数据切分得出的取数SQL在数据库执行慢。源端数据读取相关SQL执行时间过长（例如部分插件存在的where参数、querySql参数）...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
如何支持超大事务
测试结果 测试结论 当数据修改量在8 KB时，由于事务修改的数据量较小，SQL语句的执行时间较短，事务的执行时间受事务提交时间的影响较大。在该场景下，事务执行时间随分片数增多而增大。具体而言，在分片数为1～64时，当分片数增长为原来的...
MongoDB 4.2
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
如何高效地查询时序数据
查询条件覆盖的时间范围过大可能会导致扫描过多的数据，进而导致查询速度过慢，在这种情况下建议您可以缩小时间戳列的过滤范围来提高查询性能。常见的时序查询场景和查询操作 重要 如果需要复现以下查询场景的结果，请下载相应的 SQL脚本...
SelectDB数据源
DataWorks数据集成支持使用SelectDB ...否 无 flushInterval 数据写入批次的时间间隔（单位：ms），如果 maxBatchRows 和 batchSize 参数设置的很大，则可能还未达到设置的数据量大小，系统就会根据写入的时间间隔执行数据导入。否 30000
查询结果不符合预期的常见原因
如果删除请求设置的时间戳/版本号较大，删除请求提交后将持续生效，此时再写入数据，则数据写入的时间戳比删除请求设置的时间戳小，数据写入后会被立刻删除，导致无法被查询到。说明 SQL访问方式不支持设置删除时间戳。链路等问题导致数据...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
自动备份MongoDB数据
如果需要备份的数据量较大，物理备份可能需要花费较长时间，请您耐心等待。费用说明 云数据库MongoDB提供了免费备份额度。如果备份存储容量（包括全量备份和日志备份）未超过免费额度，备份不收费。超过后，每小时的备份费用=（备份存储...
数据格式描述文件
granularitySpec 聚合支持两种聚合方式：uniform和arbitrary，前者以一个固定的时间间隔聚合数据，后者尽量保证每个segments大小一致，时间间隔是不固定的。目前uniform是默认选项。键 格式 描述 是否必须 segmentGranularity 字符串 ...
恢复PolarDB分布式版数据库
已选择的恢复时间点 选择恢复数据库的时间点，设置时间必须在 可恢复的时间范围 内，可选时间点为全量备份完成的时间。恢复目标数据库 数据库所在位置 选择 PolarDB。实例地区 选择目标实例的所在地域。数据库类型 选择 PolarDB PostgreSQL...
- 产品推荐
- 这些文档可能帮助您