生命周期操作
对于非分区表，当 LastModifiedTime 超过设定的生命周期时长时，MaxCompute会回收这些数据并删除对应的表。对于分区表，则根据各分区的 LastModifiedTime 判断该分区数据是否该被回收，当最后一个分区被回收后，该表不会被删除。如果您需要...
表操作
类型 功能 角色 操作入口 创建表 创建非分区表、分区表、外部表或聚簇表。具备项目创建表权限（CreateTable）的用户。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks...
API概览
UpdateTable 更新元数据表信息 根据名称更新数据湖元数据表信息。UpdateTableColumnStatistics 更新元数据表统计信息 创建或者更新元数据表的字段统计信息。GetTable 获取元数据表详情 获取某个数据湖元数据表的详细信息。...
数据湖构建的审计事件
BatchUpdateTables 批量更新元数据表信息。CancelQuery 取消查询。CheckBlueprintInstanceName 检查任务名是否合法。CheckConnection 检查连接信息。CheckConnectivity 检查连通性。CheckPermissions 对User权限进行校验。Create 登录产品...
USER_PART_TABLES
USER_PART_TABLES 视图提供当前用户拥有的数据库中的所有分区表的信息。名称 类型 说明 schema_name TEXT 表所在 schema 的名称。table_name TEXT 表的名称。partitioning_type TEXT 用于定义表分区的分区类型。subpartitioning_type TEXT ...
API概览
GetPartitions 获取表的所有分区信息。DropPartition 删除分区信息。表管理 API 描述 CreateTable 创建OSS的表。GetTable 获取给定表的详细信息。GetAllTables 获取当前用户有读权限或写权限的所有表。AlterTable 修改表的数据库名、表名、...
表操作
查看分区信息 查看某个分区表具体的分区信息。具备读取表元信息权限（Describe）的用户。列出项目空间下的表和视图 列出项目空间下所有的表、视图或符合某规则（支持正则表达式）的表、视图。具备项目空间查看对象列表权限（List）的用户。...
配置MaxCompute输出
分区讯息 为您展示MaxCompute分区表的信息。字段映射 单击 字段映射，设置源端和目标端字段的映射。同步任务会根据字段的映射关系同步数据。如果您需要新建表，请单击 一键建表 后，在 新建数据表 对话框中，配置各项参数。参数 描述 表...
Tunnel常见错误
分区表操作必须携带分区信息，建议补充分区信息。MissingRequestBodyError The request body is missing 无。MissingRequiredHeaderError Your request was missing a required header 无。NoPermission You do not have enough privilege ...
分区剪裁合理性评估
背景信息 MaxCompute分区表是指在创建表时指定分区空间，即指定表内的几个字段作为分区列。使用数据时，如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。分区剪裁是指对分区列指定过滤条件，...
查看公共表
分区信息 查看当前表的分区信息、分区数量，MaxCompute分区数最大为6万个（如果设置了生命周期，实际分区数以生命周期为主），此处默认只展示10个分区。重要 仅MaxCompute公共表显示分区信息。此处展示该表非完整分区信息，若要查看...
分区管理
分区计划是专门针对 Range 分区的扩展功能，ODC 支持依据用户设置的分区策略对 Range 分区表进行自动管理，用户无需手动创建新分区，以方便维护 Range 分区表。创建策略：表按照指定的时间间隔和数据范围将数据划分到对应的分区。创建分区...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
dlf:UpdateTable 更新数据表信息。dlf:UpdateTableColumnStatistics 更新元数据表统计信息。dlf:GetTableColumnStatistics 获取元数据表统计信息。dlf:DeleteTableColumnStatistics 删除元数据表统计信息。dlf:...
创建OSS外部表
OSS外部表包含分区表和非分区表两种类型，实际需要创建哪种类型的表，主要取决于OSS中数据文件的存储路径格式。当数据文件以分区路径方式存储时，需要创建分区表；否则创建非分区表。更多读取分区数据信息，请参见 读取以分区方式存储的OSS...
Hive数据迁移
开启后分区表已经迁移过的分区不会被重新迁移。只迁schema 只迁移表结构、分区值。根据实际情况选择是否打开。分区过滤 详情请参见 分区过滤表达式说明。表名映射 ⼀个Table迁移到⽬的项目后的名称。单击 确定。说明 如果迁移任务的配置...
批量创建质量规则
批量配置调度时，非分区表不会保存校验范围表达式，只会保存调度配置。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则的对象的生效状态，停用生效状态后，所...
批量创建质量规则
批量配置调度时，非分区表不会保存校验范围表达式，只会保存调度配置。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则的对象的生效状态，停用生效状态后，所...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
Kudu连接器
说明 创建表时必须指定必要的表信息，例如，主键、列的编码格式或压缩格式、Hash分区或Range分区等。查看表信息。DESCRIBE kudu.default.users;返回如下类似信息。Column|Type|Extra|Comment-+-+-+-user_id|integer|primary_key,encoding=...
GetTable
Table Object 获取的表信息。CreateTime Long 20190813 表的创建时间。DbName String db001 数据库名称。LastAccessTime Long 20190814 表的最后访问时间。Owner String user001 创建表的DLA username。Parameters Map 表的属性。String ...
使用DataWorks同步数据
说明 DataWorks不支持对MaxCompute分区表进行字段映射，您需要单独配置分区字段。说明 参数配置的更多信息，请参见 MaxCompute Reader。配置数据去向：数据源的类型选择为 ClickHouse。参数含义如下。参数 描述 数据源 数据源的类型与名称...
创建数据表质量规则
数据更新触发调度：在一个代码任务执行时，会解析本次任务是否更新当前表和所属分区，并执行校验（非分区表只判断表是否更新）；如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点...
创建数据表质量规则
数据更新触发调度：在一个代码任务执行时，会解析本次任务是否更新当前表和所属分区，并执行校验（非分区表只判断表是否更新）；如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点...
系统表
kepler_cache_table_status 记录了集群中已创建的Cache表信息，用法详情请参见 Cache Table。字段说明：字段 说明 schema_name 数据库名称。table_name Cache表名。cache_id Cache表ID，唯一标识。deleting 是否正在删除中。occupied 正在...
使用DataWorks
在脚本中配置离线同步任务读取的数据源，以及需要同步的表信息等。{"stepType":"odps","parameter":{"partition":[],"datasource":"odps_first","envType":0,"column":["*"],"table":""},"name":"Reader","category":"reader"},stepType：...
StarRocks物理表和字段详情
分区信息：可查看数据表的分区信息。多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。注意：分区记录数和存储量信息仅供参考。说明 当数据表为 物理表（内部表）时，使用Less Than和fixed range...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
物化视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
ODPS-0130071
数据插入表是一个分区表，其中有m个分区字段，但是插入数据SQL里只有n个分区列，导致数据写入找不到分区报错 解决方案 建议修改插入数据SQL，对齐分区字段。示例-创建表 create table if not exists mf_sale_detail(shop_name string,...
星环ArgoDB/TDH Inceptor物理表和字段详情
② 明细信息 为您展示 表结构、分区信息、数据预览 明细信息。表结构：字段列表包括 字段 详情、描述、数据类型、关联标准（需购买数据标准模块）、数据分类（需购买安全模块）、数据分级（需购买安全模块）、热度 信息，同时您可以在 操作...
逻辑表和字段资产详情
分区信息：可查看数据表的分区信息。字段：选择需要查看的字段以及对应的日期区间，为您展示距离选中结束日期过去30个分区的数据。字段分区详情：深色代表字段在对应分区有记录、浅色代表字段在对应分区无记录。数据预览：若有当前表的查询...
逻辑表和字段资产详情
分区信息：可查看数据表的分区信息。字段：选择需要查看的字段以及对应的日期区间，为您展示距离选中结束日期过去30个分区的数据。字段分区详情：深色代表字段在对应分区有记录、浅色代表字段在对应分区无记录。数据预览：若有当前表的查询...
创建全域数据表质量规则
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可选择是否开启 对比表数据过滤，开启后可配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。规则校验 数据...
创建全域数据表质量规则
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可选择是否开启 对比表数据过滤，开启后可配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。规则校验 数据...
MaxCompute分区表数据导入
收集分区表的统计信息 该步骤是一个Hologres SQL模块，收集父表的统计信息，SQL代码如下。大量数据导入后执行ANALYZE分区表父表操作 ANALYZE${holo_table_name};需要将基础参数绑定至该模块上游，用于控制其中的参数变量，系统配置如下。...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
2019年
MaxCompute数据迁移至OSS 2019-08-01 新增PyODPS读取分区表数据最佳实践。新实践 新增PyODPS读取分区表数据最佳实践。PyODPS读取分区表数据 2019-08-01 新增PyODPS查看一级分区最佳实践。新实践 新增PyODPS查看一级分区最佳实践。PyODPS...
读写MaxCompute数据
同步单表信息（非分区表）例如MaxCompute中有以下分区表：CREATE TABLE IF NOT EXISTS part_datatype_test_complex(int_test int,bigint_test bigint,double_test double,string_test string,datetime_test datetime,boolean_test boolean,...
6.0版本与7.0版本兼容性注意事项
新增分区表相关系统表：gp_partition_template gp_partition_template 定义了分区表在分区层次结构中的每个级别的子分区模板，表结构信息如下。列名 类型 描述 relid oid 分区表的OID（顶层父表）。level int16 分区在层次中的级别。...
- 产品推荐
- 这些文档可能帮助您