X-Engine简介
两个Metadata Snapshot结构实际上共用了大量的数据结构，这被称为数据复用技术（Data Reuse），而Extent大小正是影响数据复用率的关键，Extent作为一个完整的被复用的物理结构，需要尽可能的小，这样与其他Extent数据交叉点会变少，但又不...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
Tair（Redis企业版）简介
高兼容性：兼容Redis社区版6.0大部分的数据结构和命令。购买指引 Redis企业版产品类型 购买链接 操作说明 内存型 立即购买（推荐）创建Tair实例 立即购买 创建Tair实例 持久内存型 立即购买 创建Tair实例 磁盘型 阿里云Tair的诞生与发展 ...
什么是云原生内存数据库Tair
更丰富的数据结构 提供TairString，TairHash，TairGIS，TairCpc，TairBloom等多种扩展数据结构，极大降低用户的开发成本，更有利于业务创新。说明 更多信息，请参见 产品优势 和 应用场景。实例存储介质 随着互联网的高速发展，业务场景变...
磁盘型
Tair 推出磁盘（ESSD/SSD）型实例，均兼容Redis核心数据结构与接口，可提供大容量、低成本、持久化的数据库服务。适用于兼容Redis、需要大容量且访问性能较高的温冷数据存储场景。背景信息 传统Redis基于内存属于易失性存储介质，随着业务...
磁盘型
云原生内存数据库Tair 推出磁盘（ESSD/SSD）型实例，均兼容Redis核心数据结构与接口，可提供大容量、低成本、持久化的数据库服务。适用于兼容Redis、需要大容量且访问性能较高的温冷数据存储场景。背景信息 传统Redis基于内存属于易失性...
PolarDB PostgreSQL版间的迁移
是否限制增量同步速率 增量迁移时会开启对源库的多并发读取及对目标库的多并发写入，如果单库的业务压力较大，可能对另外一个库也造成较大的写入压力；如果不希望对数据库影响太大，可以限制迁移的速率上限。环境标签 用于标识DTS任务的...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
云数据库Redis版产品选型必读
快速推荐 业务场景 推荐规格 购买链接 超高性能场景、全球多活、按时间点恢复数据，可使用自研增强型数据结构等。Tair内存型（兼容Redis 6.0）4 GB高可用、不启用集群版 购买链接 开发测试 Redis 6.0经济版1 GB 购买链接 通用缓存 Redis 6....
Tair选型指南
选择存储介质 云原生内存数据库Tair 从访问延时、持久化需求、整体成本这三个核心维度考量，推出了DRAM、NVM和ESSD云盘存储介质，为您提供更强的性能、更多的数据结构和更灵活的存储方式，满足不同场景下的业务需求。场景 推荐 特点 以性能...
概述
PolarDB-X 全面拥抱向量化，针对列存的TableScan读取，采用列式chunk的数据结构，后续中间的算子计算也全面继承chunk的内存列式结构，基于全链路的向量化提升查询性能。同时针对行存的TableScan也会动态转化为列式chunk，基于统一的数据...
大数据用户画像解决方案
方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据量、高并发读写场景这样的业务特征。其架构如下图所示：方案优势 1.低成本：集群内单表冷热分离能力、独有的压缩优化能力...
2023年
2023-03-30 全部地域 向量计算（Proxima CE）概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
云数据库 Memcache 版支持的数据结构？
云数据库 Memcache 版目前仅支持 Key-Value 的数据结构，暂不支持 List 等数据结构。
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
外部数据
接着我们需要创建一个或多个外部表，它们定义了外部数据的结构。一个外部表可以在查询中像一个普通表一样地使用，但是在本地数据库服务器中外部表没有存储数据。不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取...
Tair扩展数据结构
本文汇总了部分 Tair 扩展数据结构的性能测试报告。TairRoaring性能白皮书 TairSearch性能白皮书 TairVector性能白皮书 TairDoc性能白皮书
功能特性
什么是数据校验 订正 元数据订正 当校验出数据结构不一致时，可以根据校验结果进行订正。结构订正 查看数据校验详情 全量数据订正 当校验出全量数据不一致时，可以根据校验结果并下载订正SQL进行订正。查看数据校验详情 增量数据订正 当...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
基本概念
数据库实例：数据库实例是在云中运行的独立数据库环境。一个数据库实例可以包含多个由数据库用户创建的数据库，并且...索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。
功能简介
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
资产全景
为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页，单击顶部菜单栏的 资产。默认进入 目录 页面。按照下图操作指引，进入 全局 页面。在 全局 页面，右下角会展示各个业务板块的名称、数据量、占总数据量比，以及系统内的 ...
数据同步
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
资产全景
为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页，单击顶部菜单栏的 资产。默认进入 目录 页面。按照下图操作指引，进入 全局 页面。在 全局 页面，右下角会展示各个业务板块的名称、数据量、占总数据量比，以及系统内的 ...
功能简介
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
API概览
DescribeDBInstanceDataSources 查询DB或者Table的数据结构 调用DescribeDBInstanceDataSources接口查询DB或者Table的数据结构。网络管理 API 标题 API概述 CreateEndpoint 申请外网地址 调用CreateEndpoint接口申请外网地址。...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
IoT数据自动化同步至云端解决方案
物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案...
什么是云数据库MongoDB版
MongoDB的数据结构 MongoDB是面向文档的NoSQL（非关系型）数据库，它的数据结构由字段（Field）和值（Value）组成，类似于JSON对象，示例如下：{ name:"张三",sex:"男性",age:30 } MongoDB的存储结构 MongoDB的存储结构区别于传统的关系型...
Sqoop概述
将HDFS数据导入MySQL 创建好对应HDFS中的数据结构的MySQL表后，在集群的Master节点上执行如下命令。sqoop export-connect<dburi>/<dbname>-username<username>-password<password>-table<tablename>-export-dir参数 描述 dburi 数据库的...
系统配置
若您的数据结构更新不频繁，则无需开启每日自动识别敏感数据。如需识别某任务的敏感数据，可在敏感数据识别功能中手动触发识别。详情请参见 配置数据识别规则。若关闭每日自动识别任务的敏感数据，系统将不会每天自动识别敏感数据并更新...
附录：消息格式
op 对应源端读取到的消息类型，取值如下：INSERT：数据插入 UPDATE_BEFOR：数据更新前 UPDATE_AFTER：数据更新后 DELETE：数据删除 TRANSACTION_BEGIN：数据库事务开始 TRANSACTION_END：数据库事务结束 CREATE：数据库建表 ALTER：数据库...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
数据源配置常见问题
保留CSV的首行作为表头，并且每一个列的列名，需要和相应图表中要求的数据结构的字段名保持一致。目前，数据库通过阿里云经典网络内网连接支持哪些机房？目前支持 华东1、华东2、华北2 三个机房。DataV能否连接在ECS或其他机器上部署的数据...
数据源配置常见问题
保留CSV的首行作为表头，并且每一个列的列名，需要和相应图表中要求的数据结构的字段名保持一致。目前，数据库通过阿里云经典网络内网连接支持哪些机房？目前支持 华东1、华东2、华北2 三个机房。DataV能否连接在ECS或其他机器上部署的数据...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
无锁结构变更概览
背景信息 在数据量大的情况下进行结构变更，需要考虑锁表的风险，锁表将导致业务无法正常写入。MySQL原生能力：MySQL 5.5及之前的版本，DDL提供了Table-Copy和In-Place两种执行算法：Table-Copy：通过拷贝临时表完成变更，变更期间表被锁定...
- 产品推荐
- 这些文档可能帮助您