创建数据流
开关打开：如果表已存在，先清空目标表或者分区数据，再写入数据。文件格式 选择文件存储格式。支持4种文件存储格式：Parquet、ORC、Avro和CSV。压缩 选择文件的压缩方式。分区 选择数据的分区键。您可以通过分区键中的值，快速查找您需要...
Check节点
步骤三：配置任务调度 如您需要周期性使用Check节点进行分区数据检查，可单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息。详情请参见 任务调度属性配置概述。Check节点与普通调度节点一样，需设置调度依赖、调度...
表结构设计
您可以在创建表时，通过 PARTITION BY 来定义二级分区，数据会将按照指定方式进行切分。更多详情，请参见 CREATE TABLE。语法 使用 column_name 的值做分区，语法如下：PARTITION BY VALUE(column_name)将 column_name 的值转换为%Y%m%d 的...
数据输入输出
processed_df.to_odps_table("test_processed_odps_table")如果表为分区表，read_odps_table 方法会读取所有分区的数据，因此如果存在多个分区，您可以通过 partitions 参数读取部分的分区数据：df=md.read_odps_table("parted_odps_table...
OPTIMIZE PARTITION
本文档介绍了优化分区或子分区、回收未使用的空间和整理分区数据文件的方法。描述 如果从分区或子分区中删除了大量的行，或者对一个带有可变长度的行（即存在VARCHAR、BLOB或TEXT类型的列）进行修改，可以使用 ALTER TABLE…OPTIMIZE ...
2022年
2022-08-31 全部地域 读OSS外部表 支持分区表到期后自动删除表 当分区表的分区数据生命周期到期会自动回收，当所有分区都自动回收后，MaxCompute支持设置自动删除该分区表。2022-08-27 全部地域 生命周期操作 新增三个聚合函数 新增三个...
颜色映射器使用说明
颜色映射器适用于设置组件内各种颜色和数据数值之间的映射配置样式，内置十余种颜色模板，同时支持自定义颜色和颜色的对应值，以满足用户不同的定制需求。本文以配置 基础平面地图 3.0 组件中 矢量散点层 子组件的散点颜色...数值分区数据示例
CREATE TABLE
CREATE TABLE语句用于在Lindorm宽表引擎或时序引擎中创建表，支持多种数据类型...显式指定分区列 由于大部分查询场景会查询单个设备的瞬时数据，因此可以显式指定device_id作为数据分区的分区列。CREATE TABLE sensor(device_id VARCHAR NOT ...
强一致分布式事务
PolarDB-X 针对分布式事务一致性的设计，除了在存储节点（DN）的leader主副本中保存事务信息之外，也会将数据的事务多版本信息同步到learner副本中，可以保证只读实例上的多个分区数据的读的一致性，具体特性请参见 混合负载HTAP。...
如何分析数据分布不均衡
除此之外，分区表还支持通过 select*from information_schema.table_detail where logical_table='test_tb' 查询分区级的详细信息，部分参数说明如下：PARTITION_NAME：分区名 TABLE_ROWS：分区的数据行数 DATA_LENGTH：分区的数据大小 ...
Slowly Changing Dimension
解决方案 存在的问题 流式构建T+1时刻的增量数据表，和离线表的T时刻分区数据做合并，生成离线表T+1分区。存储资源浪费。保存离线的基础表，每个业务时刻的增量数据独立保存，在查询数据时合并基础表和增量表。查询性能差。其中按T保留全量...
云市场镜像规范（Windows）
其他分区 恢复分区、保留分区、数据分区等，不推荐。恢复分区、保留分区、数据分区等，不推荐。必备的软件和工具 安装云助手 您在制作云市场镜像时需要安装云助手。云助手是专为云服务器ECS打造的原生自动化运维工具，免密码、免登录、无需...
云市场镜像规范（Windows）
其他分区 恢复分区、保留分区、数据分区等，不推荐。恢复分区、保留分区、数据分区等，不推荐。必备的软件和工具 安装云助手 您在制作云市场镜像时需要安装云助手。云助手是专为云服务器ECS打造的原生自动化运维工具，免密码、免登录、无需...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
CREATE INDEX
RANGE_TIME_PARTITION_TTL INTEGER 表示保留多少天的分区数据，例如 RANGE_TIME_PARTITION_TTL='180'，表示保留半年的分区数据，历史分区数据会被自动清理掉。不指定时则表示不会被清理。说明 创建分区索引时，必须指定此参数。RANGE_TIME_...
MSCK REPAIR TABLE
同步OSS数据源上实际的数据分区信息到元数据中 语法 MSCK REPAIR TABLE table_name 示例 在命令执行前，SHOW PARTITIONS primitives_parquet_p 无法显示分区信息。mysql>show partitions primitives_parquet_p;Result|+-+|+-+1 row in set...
ACID语义
本文为您介绍MaxCompute在作业并发情况下...UPDATE、DELETE、MERGE小文件操作会因为目标非分区表或分区数据变化而产生冲突报错。说明 需要注意的是，在极端情况下，如果多个作业并发且元数据正处于更新阶段，可能因元数据更新而产生冲突报错。
2021年
新说明 MaxCompute物化视图支持创建分区和聚簇，在查询物化视图时如果发现有分区数据不存在物化视图中时，可以设置系统自动穿透去查询源表，并返回源表和物化视图的汇总数据。物化视图操作 2021年11月更新记录 时间 特性 类别 描述 产品...
基本数据库对象及概念
当有新的二级分区数据被加载时，分析型数据库MySQL版会以二级分区列的键值排序，删除最小键值的二级分区。为什么要限制二级分区数？过多的二级分区会占用计算节点大量的内存，导致系统容易不稳定。所以我们一般建议二级分区数不要超过90个...
迁移指南
添加和删除分区：Delta lake自动跟踪表中的分区集，并在添加或删除数据时更新列表。因此，不需要运行ALTER TABLE[ADD|DROP]PARTITION或MSCK。加载单个分区：作为一种优化，有时您可能会直接加载您感兴趣的数据分区。例如，spark.read....
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
动态分区管理
同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区功能各版本支持情况如下：Hologres V1.3版本开始，支持配置动态分区规则，系统会根据已配置的规则定期运行调度任务，提前...
迁移服务（MMA）
单个任务处理的最大数量（单位GB）需要迁移的分区数据大小的最大值。Hive Job配置 Hive引擎相关的任务参数，默认为MR引擎的部分配置。说明 该配置用于解决YARN容器内存不足、指定Spark运行队列等问题。数据库白名单 需要迁移的Hive数据库，...
数据写入方式概述
OSS外表为各个数据分区(Segment)并行读取，单分区从OSS加载的能力即可达到30 MB，整体加载速率随分区数线性扩展。方式一：INSERT语句 通过INSERT语句写入数据，为提升写入速度，建议单条INSERT语句拼装多个值VALUE执行，可实现每秒 MB数据...
T+1多库合并建仓
您可以全局分析所有数据，也可以选择某个分区对分区数据进行分析，进行数据分析时会非常的方便，并且也不影响RDS端的业务运行。前提条件 多库合并建仓时，DLA将OSS作为存储RDS数据的数据仓库，您需要在OSS中完成以下准备工作：开通OSS服务...
实例选型和集群规划
云原生数据仓库AnalyticDB PostgreSQL版 经过多次产品迭代升级，当前主流实例资源类型为存储弹性模式和Serverless模式。在购买实例时，根据本文选择合适的规格和存储空间，可以获得更好的业务体验。为了减少实例配置选型的复杂度，存储弹性...
产品概述
产品架构 云原生数据仓库 AnalyticDB PostgreSQL 版 采用MPP架构，实例由多个 计算节点 组成，存储磁盘类型支持高效云盘和ESSD云盘，计算和存储分离，可以独立增加节点或扩容，且保持查询响应时间不变。集群实例包括的组件有：协调节点...
2021年
2021-12-03 全部地域 参考：渐进式计算 MaxCompute物化视图功能增强 MaxCompute物化视图支持创建分区和聚簇，在查询物化视图时如果发现有分区数据不存在物化视图中时，可以设置系统自动穿透去查询源表，并返回源表和物化视图的汇总数据。...
删除分区数据
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，ALTER TABLE DDL 删除分区数据的支持转换范围。总览 truncate_partition_subpart:TRUNCATE { partition_extended_names|subpartition_extended_names }[{ DROP...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
JindoTable MoveTo命令介绍
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
ODPS-0130071
假设，分区数据文件所在的OSS目录结构如下图，col_name 对应 direction，col_value 对应 N、NE、S、SW、W。一个 add partition 对应一个子目录，多个OSS子目录需要使用多个 add partition。示例 在OSS上创建目录 demo8 并分别在下面建立两...
MaxCompute（原ODPS）数据源配置
pt=2 将同步pt=1 和 pt=2分区下的所有数据 指定多个分区字段的值：pt=1,ds=1 将同步pt=1同时ds=1的分区数据 不支持情况：pt=1,ds=Y%m%d|-1 days 或者pt=1;pt=Y%m%d|-1 days 该类情况暂不支持 3:分区字段的值支持通配符*，表示该分区字段...
MaxCompute（原ODPS）数据源配置
pt=2 将同步pt=1 和 pt=2分区下的所有数据 指定多个分区字段的值：pt=1,ds=1 将同步pt=1同时ds=1的分区数据 不支持情况：pt=1,ds=Y%m%d|-1 days 或者pt=1;pt=Y%m%d|-1 days 该类情况暂不支持 3:分区字段的值支持通配符*，表示该分区字段...
日志投递MaxCompute后，如何检查数据完整性
使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time字段计算得到，由日志的真实时间按照时间格式字符串向下取整得出。其中，日志真实时间既不是投递数据的时间，也不是日志写入服务端时间...
生命周期操作
生命周期 MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收，这个指定的时间就是生命周期。生命周期回收为每天定时启动，扫描全量分区...
新建并启用物理表质量检查计划
分区产出检测 开启该项后，质量任务将在配置时间范围内，进行分区产出检测，该时间范围分区数据产出后，即可进行质量规则执行。当取消选中时，不输出分区检测结果。默认为取消选中。当选中时，即会根据持续产出的时间和周期输出分区检测...
新建并启用物理表质量检查计划
分区产出检测 开启该项后，质量任务将在配置时间范围内，进行分区产出检测，该时间范围分区数据产出后，即可进行质量规则执行。当取消选中时，不输出分区检测结果。默认为取消选中。当选中时，即会根据持续产出的时间和周期输出分区检测...
- 产品推荐
- 这些文档可能帮助您