补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
参数设置
说明 请输入 可修改参数 取值范围内的参数值，否则当您 批量提交 时会出现错误提示。修改 数据库级 参数 单击 数据库级 页签后，找到目标数据库名称并单击目标数据库页签。找到目标参数，单击 运行参数值 栏的。说明 您可以单击 参数描述 ...
如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
管理发布任务
单个任务发布或批量发布任务时，会先预检一次本次发布需要消耗的数据处理单元数量是否会超出剩余可用总量，如果超出阻断发布。如果预检通过，进入单个对象的发布校验流程，所有校验都通过后，还会再此校验每个对象发布后是否会超出数据处理...
管理发布任务
单个任务发布或批量发布任务时，会先预检一次本次发布需要消耗的数据处理单元数量是否会超出剩余可用总量，如果超出阻断发布。如果预检通过，进入单个对象的发布校验流程，所有校验都通过后，还会再此校验每个对象发布后是否会超出数据处理...
自动故障转移和读写分离
表示允许连接到任意数据库，会从所有配置的数据库中随机选择一个尝试连接，如果连接的数据库出现故障导致连接断开，会尝试连接其他数据库，从而实现故障转移。read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果...
常见问题参考
在执行日志导出过程中，如果采集到的日志记录出现内容错误或者内容缺失，那么TSDB数据导出阶段会怎么处理？写入到TSDB的数据点是什么形态？默认情况下，当日志服务采集到的记录出现内容错误，或者因为类型不兼容等原因，无法正确转换为TSDB...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
自定义区域下钻层（v3.x版本）
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
同步Redis后出现数据不一致
如下图：可能原因 单靠 info keyspace 的 expires 来判断数据是否一致会出现偏差。其统计信息的统计值不是精确值，有一定的误差。info keyspace 的输出结果中：keys 表示所有keys的数据量。expires 表示带有过期keys的数据量，包含未过期和...
配置学区地图区域热力层交互
连线完成后，每条连线中间会自动添加一个 串行数据处理 节点，将节点分别命名为 logo、name、children、address 和 type。具体操作方法请参见 什么是蓝图编辑器。将 公办初中 的 鼠标移入区域触发 事件分别与上一步中添加的五个 串行数据...
查看集群日报与分析
在具体问题中会告知您出现问题的目录位置以及处理方式，您可以进行对应处理。HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
常见问题概览
实例的节点故障处理机制 解决因磁盘空间耗尽导致的锁定或无法写入问题 云数据库MongoDB版释放数据库空间 云数据库MongoDB版的监控采集粒度是多少？账号与权限 热点问题 其他常见问题 实例创建时指定的root账号拥有什么权限？云数据库...
历史版本常见问题
版本范围 5.4.11-*5.4.12-*BLOB字段被Update时有概率出现乱码风险 现象描述 非下推update语句对Set子句中的BLOB类型数据处理存在问题，导致非下推update语句写入BLOB类型数据时按照Char类型进行了类型转换，产生不符合预期的结果。...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
区域热力层（v2.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
概述
AnalyticDB MySQL Spark全密态计算引擎...不同的计算引擎对数据处理的精度会有差别，如果您在使用Spark密态计算引擎时遇到问题，请 提交工单 联系技术支持。相关文档 基础版Spark全密态计算引擎使用示例 高性能版Spark全密态计算引擎使用示例
常见问题
问题原因：出现Spark查询hudi数据重复，通常是因为Hudi不支持Spark DataSource方式读取导致的。解决方法：您需要在执行查询Hudi表的命令时，添加上 spark.sql.hive.convertMetastoreParquet=false。Hive查询Hudi数据重复，如何处理？问题...
批量数据合并
本文为您介绍批量数据合并组件。功能说明 批量数据合并组件是将两个输入的数据按照指定的索引进行合并。计算逻辑原理 内连接：使用两个数据中索引列的交集，类似于SQL内部连接。外连接：使用两个数据中索引列的并集（外连接合并时可能会...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
产品优势
基于对象存储OSS中的文档、图片、...丰富数据处理 结合业界先进的识别、处理能力，为应用处理提供丰富的功能支持。简化运维 提供Serverless化服务，无需关心业务运维。场景化一站式解决方案 面向场景的构建快捷的元数据管理，快速实现应用。
测试指标
批量处理指标 定义及解释 指批量处理程序单位时间内处理的数据数量。一般用每秒处理的数据量来衡量。处理效率是估算批量处理时间窗口最重要的计算指标。关于批量处理时间窗口，不同系统的批量处理时间窗口在起止时间上可以部分重叠。另外，...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
标准架构
当主节点出现故障，自研的HA系统会自动进行主从切换，保证业务平稳运行。数据可靠 默认开启数据持久化功能，数据全部落盘。支持数据备份功能，用户可以针对备份集回滚实例或者克隆实例，有效地解决数据误操作等问题。同时，在支持容灾的...
批量操作
DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作，并支持批量提交并发布，将变更操作发布至生产环境生效。本文为您介绍批量操作的界面入口及详细指导。操作步骤 登录DataWorks控制台，进入 数据开发 页面后，在顶部的...
SparkSQL自适应执行
数据倾斜 JOIN中会经常碰到数据倾斜的场景，导致某些task处理的数据过多，出现很严重的长尾。目前SparkSQL没有对倾斜的数据进行相关的优化处理。SparkSQL自适应框架可以根据预先的配置在作业运行过程中自动检测是否出现倾斜，并对检测到的...
常见问题概览
无集团上云商品标签的客户，在购买集团内部按量付费商品时为什么会出现如下错误提示？登录数据库 如何正确的填写登录DMS的数据库账号与密码？在DMS登录数据库失败，提示“access denied”，如何处理？SSL证书过期该怎么处理？在DMS录入阿里...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
Beam概述（公测）
高吞吐批量导入 当您使用 COPY 或 INSERT INTO SELECT 等批处理方式写入数据时，则会直接写入到列存Base部分，以达到更高的吞吐，获得更高的写入性能。高性能AP查询 Beam引擎使用了多种方式来优化查询的性能，包括：列裁剪技术 支持多种...
配置并管理实时同步任务
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。创建实时同步任务 创建整库实时同步节点。配置...
LogHub（SLS）实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON 解析）生成动态列的处理方式，如果在 JSON 解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
数据导入
说明 当文件类型选择CSV或Excel格式时，会出现该参数项。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是数据。写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果...
Stage级别诊断结果
如果不广播小表，那么会出现如下图的执行流程：假设上图中的表 Tsmall 在 b 字段上存在严重数据倾斜，那么当表 Tbig 以 a 字段均匀地分布在 AnalyticDB MySQL版 的存储节点上时，对 Tbig 表的重分布会存在处理时间长尾，而且在下游Stage...
SQL概述
提交MaxCompute作业后，会存在几十秒到数分钟不等的排队调度，所以适合处理批作业，提交一次作业批量处理海量数据。不适合直接对接需要每秒处理几千至数万笔事务的前台业务系统。使用向导 如果您需要.参考文档 说明 了解MaxCompute SQL 与...
- 产品推荐
- 这些文档可能帮助您