如何处理Tair集群数据倾斜

本文介绍如何确认是否存在数据倾斜,以及导致数据倾斜的原因和处理方法。同时,本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能(推荐),一键排查当前...

如何处理Redis集群数据倾斜

本文介绍如何确认是否存在数据倾斜,以及导致数据倾斜的原因和处理方法。同时,本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能(推荐),一键排查当前...

如何对JSON类型进行高效分析

PolarDB 列存索引(In Memory Column Index,IMCI)功能推出了完备的虚拟列与列式JSON功能等,可以快速处理数据和多种数据类型(包括结构化数据与半结构化数据等),并提供高效的数据分析、查询与流计算能力,适用于数据分析、数据仓库与...

使用场景

包含但不限于如下场景:数据迁移与同步 使用DMS任务编排配置管理数据迁移或数据同步任务,将数据从一个数据源迁移到另一个数据源,或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗加工任务...

流式ETL

数据传输服务DTS提供的流式数据ETL(Extract Transform Load)功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换加工、数据...

什么是ETL

数据传输服务DTS提供的流式数据ETL(Extract Transform Load)功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换加工、数据...

产品优势

无论是数据湖中的非结构化或半结构化数据,还是数据库中的结构化数据,您都可使用 AnalyticDB MySQL 构建企业的数据分析平台,同时完成高吞吐离线处理和高性能在线分析,实现降本增效。弹性能力扩展性 AnalyticDB MySQL版 采用云原生技术...

MySQL分库分表同步至MaxCompute

背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成,而是由多个离线同步、实时同步和数据处理等任务组合完成,这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下,上游的...

MySQL分库分表同步至MaxCompute

背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成,而是由多个离线同步、实时同步和数据处理等任务组合完成,这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下,上游的...

功能特性

数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...

产品整体介绍

云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能,支持数据高吞吐实时写入与批量导入,提供ACID保证标准事务隔离级别,采用MPP全并行架构,是一款具有高性价比的云原生数仓产品,提供基于...

导入结构和数据

背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据:同时导入数据库对象的定义语句及其数据。仅导入数据:仅导入表/视图对象的数据。仅...

FineBI

您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版,以可视化的形式帮助您进行多样数据管理,例如过滤、分组汇总、新增列、字段设置、排序等,极大的提升了数据整合的便利性效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...

文档更新动态(2022年之前)

新功能 创建Impala数据源、新建AnalyticDB for MySQL 3.0数据源、Dataphin支持的数据源 2021年08月24日 数据集成:数据集成读取写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化 新增...

配置学区地图轮播列表交互

本文档为您介绍当单击 轮播列表 组件时,切换展示对应学校在地图上的位置信息和数据方法。背景信息 需要实现的交互:当单击用来展示学校排名的 轮播列表 组件内的某一行时,在 地图 组件上定位该学校位置,并通过 散点层 子组件返回该...

数据处理

数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中,配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点,是使用串行方式来处理一个事件。使用场景:例如,小数0.835要转换成整数百分比83%,可经过:单位转换(83.5...

Transaction Table2.0概述

更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案,本文为您介绍本方案可解决的业务痛点主要架构功能。现状分析 当前典型...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

典型场景

数据分析平台 对于MaxCompute、HadoopSpark中保存的海量数据,可通过采用数据集成服务(DataX)或通过对象存储服务(OSS),快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版,帮助您实现高性能分析处理和在线数据探索。数据湖...

查看监控信息

在进行数据库日常维护或处理数据库故障时,查看数据库相关的...常见问题 MySQL CPU使用率高的原因和解决方法 MySQL 实例空间使用率过高的原因和解决方法 MySQL IOPS使用率高的原因和解决方法 MySQL实际内存分配情况 操作视频 查看监控及报警

应用场景

物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据,这些数据有助于进行设备监控、业务分析预测故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算...

Iceberg概述

而Iceberg简化了工作流程,整个数据处理过程是一条完整的、可靠的实时流,其数据的清洗、转换特征化等操作都是流上的节点动作,无需处理历史数据和实时数据。此外,Iceberg还支持原生的Python SDK,对于机器学习算法的开发者非常友好。

如何恢复误删除的数据

详细信息 恢复大量数据方法 恢复MySQL数据 恢复SQL Server数据 恢复PostgreSQL数据 恢复MariaDB数据 恢复少量数据方法 阿里云的 数据管理(DMS)提供的数据追踪功能可以逐条恢复数据,且会自动生成回滚语句,便于少量数据的恢复。...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

产品架构

流引擎 LindormStream 是面向流式数据处理的引擎,提供了流式数据的存储轻计算功能,兼容Kafka APIFlink SQL,帮助业务基于Lindorm快速构建基于流式数据处理和应用。LindormStream内部包含流存储、流计算两大组件,通过两者的一体化...

Druid 连接池连接 OceanBase 数据库示例程序

本文将介绍如何使用 Druid 连接池、MySQL Connector/J OceanBase 数据库构建一个应用程序,实现基本的数据库操作,包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...

基础版

说明 由于基础版只有一个数据节点,没有备节点作为热备份,因此当该节点意外宕机或者执行变更配置、版本升级等任务时,会出现一段时间的不可用。如果业务对数据库的可用性要求较高,不建议使用基础版,可选择其他系列(如高可用版)。基础...

实时同步能力说明

DataWorks为您提供的实时数据同步功能,方便您使用单表或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务,您需要保存、...

MyBase与自建数据库对比优势

MyBase与自建数据库对比 数据库特性 云数据库专属集群MyBase 自建数据库 高可用 提供高可用性保障,宕机自动切换、修复。需要单独购买高可用系统。资源超配 提供CPU、内存、硬盘超配,突破主机固有资源限制,在合理的资源超配上有效降低...

高效数据治理实施指南

DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率,从而实现治理目标的高效突破。本文通过治理负责人的实操过程,为您介绍如何通过数据治理计划能力,高效设定达成数据治理目标。背景信息 在多人...

概述

若集群中某些库表的数据几乎没有更新、插入修改操作,且读取频率非常低,如果您有降本需求,可以使用 PolarDB MySQL版 提供的冷数据归档功能,将这部分数据转存至低成本的OSS上存储,以降低数据存储成本。本章节介绍了冷数据归档方法、...

功能特性

监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能,当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时,可以根据该文档对缓存进行有效管理,并利用LRUTTL管理策略,...

产品架构

数据管理DMS的产品架构分为三层:数据源、数据运营与管理商业应用。数据源 关系型数据库:MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版(兼容Oracle)、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。...

产品优势

数据传输服务DTS(Data Transmission Service)支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具,DTS提供丰富多样、高性能、高安全可靠的...

功能特性

数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库,一键接入支持:RDS、PolarDB、PolarDB-X(原DRDS)、Redis、OSS、TableStore、...

数据质量衡量

例如,针对每一个数据质量事件,必须分析原因和处理过程,制定后续同类事件预防方案。将严重的数据质量事件升级为故障,并对故障进行定义、等级划分、处理和总结。相关工具链接 DataWorks数据质量管理工具,请参见 数据质量概述。DataWorks...

新建数据处理任务

系统提供数据处理能力,包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例,介绍如何新建数据处理任务。前提条件 已添加空间元数据,具体操作,请参见 添加数据。已添加OSS类型云计算资源。...

数据方案概览

DMS的数据方案提供数据变更、数据导出、数据追踪、环境构建的功能,通过本文您可以了解数据方案的各项功能详情。一级功能 二级功能 功能描述 结构变更 结构设计 可以对目标库、表进行符合研发规范的表结构设计,保障多套环境(例如开发环境...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

技术发展趋势

生产处理实时化 从数据的3V特性(体积,速度变化)来看,大数据强调数据量,PB级以上,是静态数据;而Fast Data在数据量的基础上,意味着速度变化,客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示,随着...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据库审计 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用