如何处理Tair集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
如何处理Redis集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
概览
查看表的详情 宽表的详细信息包括表的行数、占用的热存储空间和冷存储空间，表结构信息，列簇的最大版本号、TTL和数据压缩类型，数据预览，分片的数量和每个分片的大小等。在 概览 页面，可根据idc、分组、Namespace和表四个维度进行查询...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
MapReduce
海量数据挖掘：非结构化数据、时空数据和图像数据挖掘。机器学习：监督学习、无监督学习和分类算法（例如决策树、SVM）。自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐...
如何设计时序数据表
时序数据表可以为您提高查询和存储性能，本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要，需要仔细分析数据...但出于数据压缩和查询计算的角度考虑，应尽量避免使用VARCHAR类型作为字段列的类型。
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
产品优势
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。弹性能力和扩展性 AnalyticDB MySQL版 采用云原生技术...
文档更新动态（2022年之前）
新功能 创建Impala数据源、新建AnalyticDB for MySQL 3.0数据源、Dataphin支持的数据源 2021年08月24日 数据集成：数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化 新增...
文件处理概述
文件处理是由智能媒体管理IMM提供的对多种文件格式进行压缩、解压等操作的处理能力。您可以将原始文件上传到阿里云对象存储OSS，通过OSS的RESTful数据处理接口 x-oss-process 在任何时间、任何地点、任何互联网设备上对文件进行压缩、解压...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
配置学区地图轮播列表交互
本文档为您介绍当单击 轮播列表 组件时，切换展示对应学校在地图上的位置信息和数据的方法。背景信息 需要实现的交互：当单击用来展示学校排名的 轮播列表 组件内的某一行时，在 地图 组件上定位该学校位置，并通过 散点层 子组件返回该...
数据压缩对性能的影响说明
因此如果您需要开启数据压缩，建议先评估影响后，在进行变更。相关建议：高频访问的索引、字段、属性，建议不开启压缩；热点字段，建议不开启压缩；开启压缩后，对查询性能有比较大的影响，建议通过测试集群灰度测试后，查看开启数据压缩后...
数据压缩对性能的影响说明
因此如果您需要开启数据压缩，建议先评估影响后，在进行变更。相关建议：高频访问的索引、字段、属性，建议不开启压缩；热点字段，建议不开启压缩；开启压缩后，对查询性能有比较大的影响，建议通过测试集群灰度测试后，查看开启数据压缩后...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
引擎简介
数据压缩：时序引擎内置数据压缩能力，结合自研时序压缩算法以及通用块压缩，压缩率最高可达10:1。时序索引：时序引擎内置时序索引能力，支持百亿级时间线多维数据高性能查询。时序计算：时序引擎提供丰富的时序聚合计算能力，聚合引擎支持...
Transaction Table2.0概述
更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案可解决的业务痛点和主要架构功能。现状分析 当前典型...
数据压缩与编码
本文主要介绍Hbase在数据压缩与编码中的实际应用。压缩算法 目前阿里云平台支持压缩算法有：LZO、ZSTD、GZ、LZ4、SNAPPY NONE，其中NONE就代表不开启压缩。不同压缩算法在不同场景的压缩比，及解压速度对比如下，都是来自线上真实场景。...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
简介
能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS/WMTS等服务发布以及基于Spark的高性能分布式计算引擎支持海量栅格图像分析和处理。...
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品架构
AI引擎 AI引擎 是Lindorm在数据库内集成AI能力对多模数据（时序、文本、图像、音视频等）进行一站式智能分析和处理的引擎，包括LLM、文生图、图生图、图片识别等。其支持用户使用SQL从开源模型平台（包括ModelScope、HuggingFace）灵活导入...
Druid 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
使用float2类型压缩存储向量
本节将通过具体示例，为您介绍半浮点数压缩数据列的定义和相关的操作。当前向量检索系统中，会将图片、声音、文本转化成高维浮点数数组进行存储，将占用大量的存储空间。为降低存储成本，压缩存储空间，为您提供了float2压缩存储模式。...
产品架构
数据管理DMS的产品架构分为三层：数据源、数据运营与管理和商业应用。数据源 关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
如何恢复误删除的数据
详细信息 恢复大量数据方法 恢复MySQL数据 恢复SQL Server数据 恢复PostgreSQL数据 恢复MariaDB数据 恢复少量数据方法 阿里云的 数据管理（DMS）提供的数据追踪功能可以逐条恢复数据，且会自动生成回滚语句，便于少量数据的恢复。...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
产品优势
否 否 数据压缩 内置深度优化的压缩算法，数据压缩率高达10:1以上，相比snappy提高50%以上。支持snappy/LZ4/LZO，压缩率不高 支持snappy/LZ4，压缩率不高 编码 面向数据类型的自适应编码，压缩率高，并且无需解码，即可快速查找。支持DIFF...
产品优势
无优化 成本 数据压缩 深度优化的ZSTD算法，JNA重写，可杜绝Core dump，并且基于字典采样优化，压缩率比snappy提高50%，数据压缩比可高达10:1。默认为Snappy，使用ZSTD需依赖Hadoop-3.0，存在Core Dump的概率。编码 IndexableDelta算法，...
时空栅格
什么是时空栅格 栅格数据（Raster Data）是将地理空间分割成有规律的网格，每一个网格称为一个单元（像元或像素），并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
DataWorks数据集成
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
技术发展趋势
生产处理实时化 从数据的3V特性（体积，速度和变化）来看，大数据强调数据量，PB级以上，是静态数据；而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着...
ST_MakeTexture
depth 纹理图像的象元深度，必须为以下值：1：灰度 3：RGB（默认值）4：RGBA compression 纹理图像数据流的压缩方式，必须为以下值：None：不压缩（默认值）Zlib：Zlib压缩 format 纹理图像的格式，必须为以下值：Raw：原始像素矩阵 JPEG：...
ST_MakeTexture
depth 纹理图像的象元深度，必须为以下值：1：灰度 3：RGB（默认值）4：RGBA compression 纹理图像数据流的压缩方式，必须为以下值：None：不压缩（默认值）Zlib：Zlib压缩 format 纹理图像的格式，必须为以下值：Raw：原始像素矩阵 JPEG：...
- 产品推荐
- 这些文档可能帮助您