基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
Doris概述
使用场景 数据源经过各种数据集成和加工处理后，通常会入库到实时数仓Doris和离线湖仓（Hive、Iceberg和Hudi中），如下图所示。Apache Doris被广泛应用在以下场景中。报表分析 实时看板（Dashboards）。面向企业内部分析师和管理者的报表。...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
日志位点监控
shared_buffer越大，数据库的buffer pool越大，其能缓存的buffer越多，可能存在的脏页也越多。PolarDB 的刷脏能力是有上限的（取决于磁盘IO能力以及并行刷脏的效率），一旦达到上限，将buffer pool中的脏页落盘的速率也就达到了上限，此时...
常见问题
ENABLE_NODE_LOG=YES pm2 start app.js 如果安装 Node.js 性能平台运行时前系统未安装社区 Node.js 运行时和 pm2：安装 pm2 后直接使用 pm2 启动应用$ENABLE_NODE_LOG=YES pm2 start app.js 控制台只有系统监控数据，没有进程监控数据 通过...
离线同步任务运维
数据集成LogView是在数据集成同步任务中进行埋点采集、分析处理、可视化展现等更加细粒度展示分析同步任务过程的同步速率，日志等信息。在 运维中心，找到离线任务的运行实例，单击 运行诊断。在 智能诊断 页面，单击 数据集成 页签。参数 ...
ePQ支持查看与分析执行计划
对于 slice1 计划分片，ePQ将使用六个执行单元（segments:6）分别启动一个进程来执行，这六个进程各自负责扫描表的一部分数据（Partial Seq Scan），通过Motion算子将六个进程的数据汇聚到一个目标端（PX Coordinator 6:1），传递给 Limit ...
ePQ支持查看与分析执行计划
对于 slice1 计划分片，ePQ将使用六个执行单元（segments:6）分别启动一个进程来执行，这六个进程各自负责扫描表的一部分数据（Partial Seq Scan），通过Motion算子将六个进程的数据汇聚到一个目标端（PX Coordinator 6:1），传递给 Limit ...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
交叉透视表
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
Tunnel命令常见问题
您可以在Tunnel Upload命令中使用-dbr true 参数忽略脏数据（多列、少列及列数据类型不匹配等情况）。dbr 参数默认值为False，表示不忽视脏数据；当值为True时，会将不符合表定义的数据全部忽略。详情请参见 Upload。使用Tunnel Upload命令...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
交叉透视表
[{"value1":632,"row1":"浙江省","row2":"绍兴市","column1":"家具","column2":"沙发"}]动作 动作 说明 请求透视表接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如，交叉透视列表配置了API数据源为 ...
查询报错问题
用户使用的是普通表，且写入大量数据后未执行optimize操作，此时执行SQL会随着插入数据多而变得越来越慢。这是因为分析型数据库MySQL版的实时数据增量部分默认未建索引，因此执行查询时会频繁访问磁盘。为保证查询速度，建议当用户执行过...
什么是RDS PostgreSQL
Babelfish for RDS PostgreSQL：基于Babelfish for PostgreSQL的开源项目，阿里云RDS PostgreSQL实例购买时开启Babelfish选项后，可以同时获得Microsoft SQL Server和PostgreSQL两种数据库引擎数据查询和处理的能力，从而使RDS PostgreSQL...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
2022年
开启该参数后backend进程自身刷脏次数会降低，可提升查询速度，但由于突破了ring buffer限制，buffer pool可能会被当前查询的表数据占满，当多个连接查询多个不同表时，仍然会产生buffer淘汰从而带来IO操作。无 2022年10月 V1.1.26 内核小...
离线同步提速或限速
但如果该值设置过大，会导致数据同步运行进程OOM异常。出现上述报错后，请参见：离线同步常见问题。附录：查看实际并发 在数据同步任务的详情日志页面，查找形式为 JobContainer-Job set Channel-Number to 2 channels.的日志，此处的 ...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
查看和处理安全告警
查看已归档的告警数据 在告警数据大于100条时，云安全中心会自动归档30天前已处理的告警数据，不会归档未处理的告警数据。已归档的数据将无法在云安全中心控制台查看。如需查看已归档的告警数据，您可以将归档数据下载到本地。登录云安全...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
实时同步任务告警设置最佳实践
指标4：Failover 报警监控原理与适用场景 配置建议 Failover指标是指当实时同步进程发生异常退出时，为提升进程可靠性，数据集成控制服务会重新拉起进程尝试恢复失败退出同步进程，进而提升同步进程可靠性。如果关注任务Failover信息，可以...
Spark常见报错
SSL_ERROR SSL peer shut down incorrectly JDBC_COLUMN_TYPE_PARSER_ERROR Can't get JDBC type for<数据类型>业务需要处理的数据量突然变大导致Spark作业无法成功执行。EXECUTOR_CONTAINER_OOM Exit Code:137 EXECUTOR_DISK_FULL No ...
2022年
开启该参数后backend进程自身刷脏次数会降低，可提升查询速度，但由于突破了ring buffer限制，buffer pool可能会被当前查询的表数据占满，当多个连接查询多个不同表时，仍然会产生buffer淘汰从而带来IO操作。无 2022年9月 内核小版本（V1.1...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
数据导入常见问题
数据导入过程中，发生远程过程调用（Remote Procedure Call，简称RPC）超时问题，该如何处理？报错“Value count does not match column count”，该如何处理？报错“ERROR 1064(HY000):Failed to find enough host in all backends.need:3...
场景：切换调度时区
附录：数据集成相关时间处理 数据集成的时区与DataWorks调度时区无关，调度参数实际替换值将按照 纯字符串形式 下发至数据集成侧。这里以 where 条件数据过滤为例 gmt_modify>=${yyyymmdd}，这个数据过滤SQL会按照字符串字面值发送给数据源...
RDS MySQL物理备份文件恢复到自建数据库
本文介绍如何使用Percona XtraBackup工具，将RDS MySQL的物理备份文件恢复到自建数据库。背景 RDS MySQL支持将实例备份文件恢复到自建数据库，当前支持物理备份文件恢复、逻辑备份文件恢复等多种方式。如何选择数据恢复方案，请参见 数据...
自适应扫描
QC进程在发起并行查询任务时，会启动自适应扫描线程，用于接收并处理来自PX Worker进程的请求消息。自适应扫描线程维护了当前查询扫描任务的进度，并根据每个PX Worker进程的工作进度，向PX Worker进程分派需要扫描的Disk Unit ID。对于...
自适应扫描
QC进程在发起并行查询任务时，会启动自适应扫描线程，用于接收并处理来自PX Worker进程的请求消息。自适应扫描线程维护了当前查询扫描任务的进度，并根据每个PX Worker进程的工作进度，向PX Worker进程分派需要扫描的Disk Unit ID。对于...
- 产品推荐
- 这些文档可能帮助您