按扫描量付费
压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据，从而节省扫描费用。数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描...
功能特性
RDS MySQL备份策略 RDS SQL Server备份策略 RDS PostgreSQL备份策略 PolarDB MySQL备份策略 通用压缩 支持备份数据的通用压缩能力，在备份时开启数据压缩，减少存储的空间。备份设置 数据能力 下载备份 支持下载备份数据，可用于长期保留...
存储格式
列存表可以提供平均 3~5倍的较高数据压缩率。列存表必须是追加优化表，即要创建一个列存表，必须指定为"appendonly=true。下述语句创建了一个列存表bar。CREATE TABLE bar(a int,b text)WITH(appendonly=true,orientation=column)...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
名词解释
COMPACTION 〇 〇 Compaction（数据压缩）是一种数据管理技术，用于优化和减小数据库文件的大小，从而提高数据库性能。不同的存储引擎实现中存在不同的Compaction策略。INDEX 〇 ✖️ Index（索引）是一种数据结构，用于加快数据库中数据的...
RDS搭配异构数据库实现数据多样化存储
缓存数据持久化 RDS可以搭配云数据库缓存产品（Redis和Memcache），组成高吞吐、低延迟的存储解决方案。相对于RDS，云数据库缓存产品有两个特性：响应速度快。请求的时延通常在几毫秒以内。缓存区能够支持比RDS更高的QPS（每秒处理请求数）...
数据模型
数据库在存储数据时，会将同一条时间线的数据尽量聚类存储，提升时间线数据访问效率，同时更好的支持时序数据压缩。在时序表中，Tag列的值都相同的一系列数据行构成了一条时间线。时序数据库提供一系列特有的数据访问操作，包括聚合...
按使用功能计费模式计费项
读流量：投递数据（压缩后）到AnalyticDB MySQL或消费数据（压缩后）时，按照传输的数据量计算读流量费用。例如原始数据量为10 GB，您将原始数据上传到日志服务将产生2 GB（压缩率20%）的写流量，然后通过日志服务将数据投递到AnalyticDB ...
点云压缩
智慧城市：对城市三维重建产生的点云信息进行有效的数据压缩，实现数据流畅的渲染展示。混合现实：为混合现实场景中的点云数据提供实时编码解码能力。注意事项 点云压缩仅支持同步处理（x-oss-process处理方式）。使用点云压缩前，需要先...
如何设计时序数据表
时序数据表可以为您提高查询和存储性能，本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要，需要仔细分析数据...但出于数据压缩和查询计算的角度考虑，应尽量避免使用VARCHAR类型作为字段列的类型。
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
点云模型
概述 Ganos PointCloud是云原生关系型数据库PolarDB的一个扩展，使PolarDB能够有效快速存储和管理点云数据，并提供点云数据压缩、解压缩、属性统计等功能，同时联合Ganos Geometry模块提供点云空间分析的能力。点云数据类型 点云数据类型...
点云模型
概述 Ganos PointCloud是对象关系型数据库PostgreSQL的一个扩展，使PostgreSQL能够有效快速存储和管理点云数据，并提供点云数据压缩、解压缩、属性统计等功能，同时联合Ganos Geometry模块提供点云空间分析的能力。点云数据类型 点云数据...
点云模型
概述 Ganos PointCloud是云原生关系型数据库PolarDB的一个扩展，使PolarDB能够有效快速存储和管理点云数据，并提供点云数据压缩、解压缩、属性统计等功能，同时联合Ganos Geometry模块提供点云空间分析的能力。点云数据类型 点云数据类型...
RDS连接失败的排查方法
概述 本文主要介绍如何排查无法连接RDS实例的问题。详细信息 您可以从以下五个方面排查问题：...ECS实例无法通过内网访问RDS实例 若是ECS实例无法通过内网访问RDS实例，您可以参见 解决无法连接RDS实例的问题 解决问题。适用于 云数据库RDS
简介
支持数据冷热分离存储和数据高效压缩算法，海量数据存储成本低。与云上Spark无缝集成，快速搭建空间大数据仓库和空间大数据分析平台。基于OGC标准设计，便于系统间的集成与互操作。基于阿里云HBase专业运维，全托管方式，提供可靠稳定的...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
数据代理请求常见问题
本文主要介绍请求数据代理时遇到的问题及解决方法。DataV数据代理请求无法连接时如何处理？当您使用DataV数据代理请求无法连接时，可以通过以下步骤排查。判断界面请求是否出现 配置错误 的信息。是，一般是Key和Secret解析错误导致，请...
pg_dump
pg_dump是 PolarDB PostgreSQL版（兼容Oracle）提供的一种逻辑备份工具，用于将集群中的单个数据库备份为脚本文件或其他存档文件。简介 pg_dump用于备份单个数据库。即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在...
数据迁移
MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和计算问题，有效降低企业成本。DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为...
HDFS数据源
支持ORCFile数据压缩，目前支持 SNAPPY 和 ZLIB 两种压缩方式。支持SequenceFile数据压缩，目前支持 lZO 压缩方式。多个File可以支持并发读取。CSV类型支持压缩格式有gzip、bz2、zip、lzo、lzo_deflate和snappy。目前插件中Hive版本为1.1.1...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
外部表概述
第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业并发数，解决数据如何分片的问题。因此，MaxCompute提供了外部表来解决上述问题。外部表的功能旨在提供除MaxCompute内部表格以外的其他数据的处理能力。通过一条简单的DDL...
数据质量保障原则
例如，成绩单中分数出现负数或订单中出现错误的买家信息等，这些数据都是问题数据。确保记录的准确性也是保证数据质量必不可少的一部分。一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，...
ASMCompressor CRD说明
在ASM中，ASMCompressor用于进行压缩设置。本文介绍ASMCompressor的字段说明。ASMCompressor配置 字段 类型 是否必选 说明 workloadSelector map,string>是 通过一个或多个标签，指明配置生效的一组特定的Pod。标签搜索的范围限制在资源...
API概览
点云压缩 点云压缩 CreateCompressPointCloudTask 创建点云压缩任务 点云压缩功能可以将OSS中的点云数据进行压缩处理，减少网络数据传输。任务管理 API 标题 API概述 GetTask 获取任务信息 该接口用于主动查询指定的异步任务信息。IMM支持...
使用float2类型压缩存储向量
本节将通过具体示例，为您介绍半浮点数压缩数据列的定义和相关的操作。当前向量检索系统中，会将图片、声音、文本转化成高维浮点数数组进行存储，将占用大量的存储空间。为降低存储成本，压缩存储空间，为您提供了float2压缩存储模式。...
Query Profile介绍
LocalDiskReadBytes 所有Connector Scan执行节点从本地缓存读取的压缩数据大小之和。该指标仅适用于存算分离实例。RemoteReadBytes 所有Connector Scan执行节点从OSS对象存储读取的压缩数据大小之和。该指标仅适用于存算分离实例。...
压缩数据从OSS迁移至MaxCompute
本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。前提条件 已开通MaxCompute并创建项目，详情请参见 创建MaxCompute项目。已开通OSS并创建存储空间，且Bucket中有压缩数据SNAPPY...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
SDK重新运行后不能成功订阅数据
问题描述 SDK重新运行后不能成功订阅数据。问题原因 因为数据订阅通道中...解决方案 为了修复这个问题，在启动SDK之前，需要先修改消费位点，使消费位点在数据范围内，具体的修改方法详见文档 修改订阅通道的消费位点。适用于 数据传输服务DTS
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
常见问题
以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
知识库
查看治理项问题解决方案 在 知识库>治理项 页面，您可以通过不同维度，查看目标维度下数据治理中心提供的治理项问题基本信息及解决方案详情。下图以研发维度示例，为您展示治理项问题相关信息。区域 描述 ① 在该区域，您可以选择使用 研发...
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...
常见问题
以下为您介绍实时同步数据至 AnalyticDB for MySQL 3.0操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
专业术语
本文档主要介绍了时序数据库 InfluxDB®版的常见术语。aggregation（聚合）InfluxQL函数，能够返回一组数据点的聚合结果。想要获得现有的和即将支持的聚合函数的完整列表，请查看文档 InfluxQL函数。相关术语：function，selector，...
常见问题总览
本文档介绍了 数据安全中心DSC（Data Security Center）服务的常见问题和解决方法。功能相关 数据安全 数据授权 数据扫描和识别 数据脱敏 水印使用限制 支持列表 支持识别的原子模型 支持识别的OSS文件类型 支持的数据脱敏算法
使用须知
问题与解决方法 使用云数据库HBase的SQL功能（Phoenix）的过程中可能会遇到以下问题，为您提供解决以下问题的方法。meta可能存在不同步。问题描述：在同一时间多个连接访问Phoenix的场景下，一个连接进行DDL操作后（例如创建表，删除表，...
- 产品推荐
- 这些文档可能帮助您