同步 OceanBase 数据库的数据至 DataHub
数据类型映射 目前同步的 DataHub 类型仅支持 INTEGER、BIGINT、TIMESTAMP、FLOAT、DOUBLE、DECIMAL、STRING 和 BOOLEAN。如果您选择新建 Topic 的映射方式时，创建了其他类型的 Topic，会导致数据同步失败。本文表格中提供的默认映射规则...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源提供读取和写入AnalyticDB for PostgreSQL的双向功能，本文为您介绍DataWorks的AnalyticDB for PostgreSQL数据同步的能力支持情况。使用限制 离线同步支持读取视图表。支持的版本 支持版本最高至7.0（含）...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
自定义资源组
如何处理数据集成自定义资源组DataX组件log4j问题？如何安装监控？如果使用自定义调度资源组出现问题，需要首先确认Agent是否安装监控。操作如下所示：登录机器，切换至有权限账号下。执行下述命令。wget ...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
时延洞察
CloudDBA的时延洞察功能可以对 云原生内存数据库Tair 数据库所有命令以及自定义特殊事件进行时延统计，并给出精确到微秒级别的延迟时间。您可以通过该功能排查 Tair 数据库的故障和性能降低的原因。功能简介 原生Redis在2.8.13版引入时延...
创建同步任务
未开启：配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。如果您对于同步性能有比较高的诉求可以使用分布式模式。另外分布式模式也可以使用机器的碎片资源，对资源利用率友好。重要 如果独享资源组只有1台机器，不建议使用...
时延洞察
CloudDBA的时延洞察功能可以对Redis数据库所有命令以及自定义特殊事件进行时延统计，并给出精确到微秒级别的延迟时间。您可以通过该功能排查Redis数据库的故障和性能降低的原因。功能简介 原生Redis在2.8.13版引入时延监控（Latency ...
时延洞察
在排查Redis数据库实例的故障和性能降低的原因时，您可以通过时延洞察功能，对数据库所有命令以及自定义特殊事件进行时延统计，得到精确到微秒级别的延迟时间，从事件、时间、时延三个维度对实例进行分析，快速定位和修复故障。前提条件 ...
OceanBase 数据库 MySQL 租户之间的数据同步
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
NOTIFY
NOTIFY 为访问同一个PolarDB数据库的进程集合提供了一种简单的进程间通讯机制。伴随着通知可以发送一个载荷字符串，通过使用数据库中的表从通知者向监听者传递额外的数据，也可以构建用于传输结构化数据的高层机制。由一个通知事件传递给...
同步 OceanBase 数据库的数据至 RocketMQ
数据传输的数据同步功能可以帮助您实现 OceanBase 数据库的物理表和 RocketMQ 数据源之间的数据实时同步，扩展消息处理能力。同步 OceanBase 数据库的数据至 RocketMQ 时，两种租户对应的数据格式请参见 数据库传输到文本协议的格式说明。...
产品架构
尽管存算一体架构在查询性能上具有显著优势，但也存在一些局限性：成本高：为了确保数据的可靠性，BE节点必须使用多副本，特别是三副本机制，这随着数据量的增加会导致存储资源的持续扩充，可能会造成计算资源的浪费。架构复杂：多副本的...
2020年
新增oss_fdw插件，用于Aliyun OSS外部表支持，您可以通过OSS外部表将数据库数据写入到OSS，也可以通过OSS外部表将OSS数据加载到数据库中，OSS外部表支持并行和压缩，极大提高了导入和导出数据的性能，同时也可以使用这个功能来实现多类型...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多...
数据膨胀诊断
消除数据膨胀 随着对表不断进行INSERT、DELETE或UPDATE操作，会积累大量Dead Tuple，占据大部分本可以用来存放数据的空间，使得Page中未使用空间减小，导致更多的Page被分配出来。当Page被扫描时，这些大量的Dead Tuple也会被扫描，从而...
监控大盘
数据库自治服务DAS（Database Autonomy Service）支持监控大盘功能，您可以自主选择需要监控的数据库实例和指标，对不同数据库实例的指标进行监控对比，并且可以进行多指标联动，帮助您监控数据库实例的运行情况。前提条件 目标数据库实例...
监控大盘
数据库自治服务DAS（Database Autonomy Service）支持监控大盘功能，您可以自主选择需要监控的数据库实例和指标，对不同数据库实例的指标进行监控对比，并且可以进行多指标联动，帮助您监控数据库实例的运行情况。前提条件 目标数据库实例...
处理挖矿程序最佳实践
在告警处理对话框，处理方式选中 病毒查杀，然后选中 结束该进程的运行 或 结束进程并隔离源文件，并单击 立即处理，防止该程序再次启动。如果您确认导致挖矿告警的文件为非业务文件，建议您选中结束进程并隔离文件，以避免病毒文件进一步...
设置连接池
如果您的应用连接创建频繁（例如短连接场景）或者连接数量很大（大于MySQL数据库的连接数限制），您可以参考本文使用合适的RDS MySQL数据库代理连接池，降低应用与数据库建立连接的频率来减少MySQL数据库主线程的开销，减少数据库上的总...
ANALYZE
ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。接下来，查询规划器会使用这些统计信息来帮助...
使用公共资源组
开通DataWorks时，DataWorks自动为您提供公共资源组（包括公共调度资源组、公共数据集成（调试）资源组、公共数据服务资源组），可用于数据开发、运行测试等操作。公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为...
PolarDB HTAP实时数据分析技术解密
该执行器框架充分利用列式存储的优势，例如，以一个4096行的Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核处理数据的吞吐量，所有关键算子均支持并行执行。对比MySQL原有的行存执行器，性能有数量级的提升。支持行列混合执行的...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
缓冲区管理
背景信息 一写多读架构下，只读节点可能从共享存储中读到两类数据页：未来页 数据页中包含只读节点尚未回放到的数据。例如，只读节点回放LSN为200的WAL日志，但数据页中已经包含LSN为300的WAL日志对应的改动。此类数据页被称为未来页。过去...
管理模板
任务模板适用于有固定执行参数和资源需求的批处理任务，而SQL Compute模板适合SQL任务的开发和快速迭代。本文档将指导您如何有效地使用这两种模板来简化任务的提交与管理。前提条件 已创建工作空间，详情请参见 管理工作空间。模板概述 ...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
JindoFS实战演示
打开OSS多版本-合规和分析两不误 打开OSS多版本-合规和分析两不误 2021-06-15 阿里云对象存储OSS支持对象数据多版本管理，用于恢复已删除的数据、找回某个时间点的版本数据。本视频为您介绍如何开启OSS多版本、如何查看OSS对象的多版本。...
影响查询性能的因素
如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；如果数据分布不均匀，那么子任务在处理数据时会存在时间上的长尾，从而影响最终的查询效果。数据量...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
Delta Lake概述
实时机器学习：在机器学习场景中，通常需要花费大量的时间用于处理数据，例如数据清洗、转换、提取特征等等。同时，您还需要对历史和实时数据分别处理。而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
梯形柱状图
动作 动作 说明 导入梯形柱状图接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。请求梯形柱状图接口 重新请求服务端...
梯形柱状图（v3.0及以上版本）
导入梯形柱状图接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。高亮 高亮数据项对应的元素。参考数据示例如下。return {...
问题汇总
数据库类节点 MySQL节点报错：暂不支持MySQL节点驱动 通用类型节点 For-each，do-while、pai等节点如何在运维中心查看日志 分支节点运行报错：error in your condition run fail FTP Check节点任务，运行报错：None Ftp connection info!...
管理数据
更多操作 批量管理数据域 需要大规模调整多个数据域下的资产时，您可以使用批量导入功能。通过下载并修改数据域模板文件，快速管理数据域。仅支持阿里云账号和具有 AliyunYundunSDDPFullAccess 权限的RAM用户使用该功能。登录 数据安全中心...
内存型
线程模型对比 线程架构 说明 图 1.Redis单线程模型 Redis社区版和原生Redis采用单线程模型，数据处理流程为：读取请求，解析请求，处理数据，发送响应。其中网络IO和请求解析占用了大部分的资源。图 2.Tair多线程模型 Tair 内存型将服务各...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
- 产品推荐
- 这些文档可能帮助您