分区和列操作
本文为您介绍如何添加或删除分区、添加或修改列及注释常用操作。分区和列操作详情请参见 分区和列操作。分区和列操作常用命令如下。类型 功能 角色 操作入口 添加分区 为已存在的分区表新增分区。具备修改表权限（Alter）的用户 本文中的...
分区和列操作
MaxCompute支持对已有表的分区和列执行变更操作，如添加分区、添加列、删除列、更改列数据类型等，您可以根据实际业务场景执行相应操作。MaxCompute SQL的分区和列操作命令如下。类型 操作 功能 角色 操作入口 分区操作 添加分区 为已存在...
ALTER TABLE
示例3：给表sale_detail添加分区，仅指定一个分区字段sale_date，返回报错，需要同时指定2个分区字段sale_date和region。alter table sale_detail add if not exists partition(sale_date='20111011');删除分区 为已存在的分区表删除分区。...
表分区定义
如果需要为现有分区添加一个子分区，您可以指定要更改的分区，示例SQL如下：ALTER TABLE sales ALTER PARTITION FOR(RANK(12))ADD PARTITION africa VALUES('africa');说明 目前不支持对有默认分区的分区表增加分区，如需增加分区请通过...
单表实时同步至MaxCompute的任务，支持自定义分区配置
单表实时同步至MaxCompute的任务，支持自定义分区配置，本文为您介绍自定义分区的相关步骤。步骤一：新建数据表 选中ODPS节点后，单击右侧面板 一键建表 按钮，可打开建表配置弹窗。分区设置选择 自定义分区，可打开配置面板，如下图所示。...
ALTER TABLE…ADD PARTITION
ALTER TABLE…ADD PARTITION命令用于将分区添加到现有的分区表中。语法介绍 使用ALTER TABLE…ADD PARTITION命令把分区添加到现有的分区表中。语法如下：ALTER TABLE table_name ADD PARTITION partition_definition;其中 partition_...
图运维
注意：分区名要与第四步填写的保持一致 每次导出，需要在max compute的对应table添加一个新分区，否则可能存在数据重复写入的问题 max compute里的table及分区创建完毕后，进行授权操作，然后在graph compute里的数据导出页面检查填写信息...
通过SQL导出数据至MaxCompute
为一级分区添加分区 alter table mc_par_bank add if not exists partition(ds='20190830');alter table mc_par_bank add if not exists partition(ds='20190901');情况二：MaxCompute表是二级分区 CREATE TABLE IF NOT EXISTS mc_par_bank...
ALTER TABLE…ADD SUBPARTITION
语法介绍 使用ALTER TABLE…ADD SUBPARTITION命令添加一个子分区到现有的包含子分区的分区中。语法如下：ALTER TABLE table_name MODIFY PARTITION partition_name ADD SUBPARTITION subpartition_definition;其中 subpartition definition...
通过整库迁移配置集成任务
功能介绍 离线整库迁移是一个提升用户效率、降低用户使用成本的一种快捷工具。相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。...
使用ODPS Foreign Table访问MaxCompute数据
末级分区外表 相对于非分区外表，末级分区外表，映射的是MaxCompute的末级分区表，需要设置正确的 partition 属性，多级分区时，末级分区外表只支持末级分区表，即 partition 属性需要包含多级分区完整路径。举例说明：在MaxCompute上创建...
初始化小于等于2 TiB数据盘（Linux）
一块全新的数据盘挂载到ECS实例后，还不能直接存储数据，通常您需要在数据盘进行分区、文件系统格式化、挂载文件系统等初始化操作后，才能供系统读写数据。本文介绍如何在Linux系统中初始化一块小于等于2 TiB的数据盘。前提条件 数据盘已...
OceanBase 数据库 Oracle 租户至 Oracle 数据库的同步...
删除表 DROP TABLE 清空表 TRUNCATE TABLE 添加分区 ADD PARTITION 支持添加一级分区和二级分区。其中一级和二级分区均支持添加 Range/List 分区，不支持添加 Hash 分区。删除分区 DROP PARTITION 支持删除单个或多个分区，以及删除二级...
在LIST或RANGE 分区表中处理偏离值
如果您试图添加一条记录，且这条记录中的列country值包含了一个没在规则中列出的值，那么PolarDB就会报错：acctg=INSERT INTO sales VALUES acctg-#(40,'3000x','IRELAND','01-Mar-2012','45000');ERROR:inserted partition key does not ...
Tunnel常见错误码
RecordReader内部有缓存，一旦用户的计算或处理逻辑较为缓慢，未能在超时时限内处理完一块缓存数据并触发下一次读取，则会出现该错误。解决措施 优化代码处理逻辑。报错信息：ErrorCode=Unauthorized ErrorMessage=The request ...
Hive数据源
分区信息：缓存每个分区的信息，如分区数据格式，分区存储位置、分区值等。文件信息：缓存每个分区所对应的文件信息，如文件路径位置等。以上缓存信息不会持久化到SelectDB中，当SelectDB进行主备切换、FE节点重启等操作时，都可能导致缓存...
数据倾斜调优
建议只对一定会出现数据倾斜的Join添加Hint，因为Hint会运行一个Aggregate，存在一定代价。被Hint的Join的Left Side Join Key的类型需要与Right Side Join Key的类型一致，否则SkewJoin Hint不生效。例如上例中的 a.c0 与 b.c0 的类型需要...
分区表
分区表使用 AnalyticDB PostgreSQL支持的分区表类型包括范围（Range）分区、值（List）分区和多级分区表，下图为一个多级分区表设计实例，一级分区采用按月的区间（Range）分区，二级分区采用按地区的值（List）分区设计。使用场景 是否...
数据质量入门
操作流程 步骤一：配置分区表达式 通过分区表达式匹配数据质量规则需校验的目标表的分区。步骤二：创建质量规则 根据业务需求，创建校验表数据的质量规则。步骤三：试跑质量规则 运行创建的规则，测试验证规则的正确性。步骤四：质量规则...
修改部分索引
语法 为分区添加部分索引。ALTER TABLE table_name ALTET INDEX index_name ADD PARTITION partition_name0[,.];重建分区上的部分索引。ALTER TABLE table_name ALTET INDEX index_name REBUILD PARTITION partition_name0[,.];删除分区上...
可视化管理内部表、外部表或视图
在 分区列 区域右侧单击 图标即可添加分区列，但添加的列名称（name）、列类型（type）及列注释（comment）是自动生成的，您需要根据实际需求手动调整。索引 当内部表或外部表需要具备Hash属性或Range属性时，需要配置该参数。外部表 配置...
数据质量风险监控
单击+，选择 分区表达式 为 dt=$[yyyymmdd-1]，对应表ods_user_trace_log的分区格式为${bdp.system.bizdate}（即获取到前一天的日期）。分区表达式的详细信息请参见 基础属性：调度参数。如果表中无分区列，可以配置无分区。单击 计算，...
数据质量风险监控
单击+，选择 分区表达式 为 dt=$[yyyymmdd-1]，对应表ods_user_trace_log的分区格式为${bdp.system.bizdate}（即获取到前一天的日期）。分区表达式的详细信息请参见 调度参数支持的格式。如果表中无分区列，可以配置无分区。单击 计算，...
列存索引中HashMatch算子的实现
为避免此问题，build阶段可以将左表数据按一定规则进行分区，每一个分区各自构建独立散列表，而probe阶段则根据右表每一行所在分区查找对应分区上的散列表进行相应处理。Build阶段 在IMCI中HashMatch的build功能是在DoOpen中完成，实际分为...
配置数据质量监控
步骤如下：在表的监控规则配置页面，单击 分区表达式 后的，进入 添加分区 页面。在添加分区对话框中，选择 分区表达式 为 dt=$[yyyymmdd-1]。单击 计算，查看计算结果是否符合预期，确认无误后单击 确定。本案例希望监控每日调度任务产出...
Tunnel SDK常见问题
每一次上传只支持将数据上传到一张表或表的一个分区，有分区的表一定要指定上传的分区，多级分区一定要指定到末级分区。使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？JAR包不能超过10 MB，如果JAR包超过10 ...
配置数据质量监控
步骤如下：在表监控规则配置页面，单击 分区表达式 后的，进入 添加分区 页面。在添加分区对话框中，选择 分区表达式 为$[yyyymmdd-1]。单击 计算，查看计算结果是否符合预期，确认无误后单击 确定。本案例希望监控每日调度任务产出的表...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
配置规则：按模板（批量）
如果您需要批量为表配置分区表达式，则可以单击 设置分区表达式 按钮为选中的表批量添加分区表达式。单击 生成规则，进入 规则验证 页面。您可以单击自定义列，按需自定义规则详情表中需要显示的内容。在 规则验证 页面您可以进行如下操作...
管理MaxCompute Catalog
在Flink DDL的Schema末尾添加分区列，并在 PARTITIONED BY 语句中声明分区列名，执行完成后查看对应MaxCompute项目中的表，可以看到已创建对应名字的分区表，其普通列为f0、f1、f2、f3，分区列为ds。重要 MaxCompute中列名均为小写，而...
DDL语句
否 查看建表语句 否 分区和列操作 功能 是否支持 添加分区 支持添加单个分区 不支持添加多个分区 删除分区 支持删除单个分区 不支持删除多个分区 不支持根据过滤条件删除分区 添加列或注释 是 修改列名 是 修改列注释 是 修改分区的更新...
DDL语句
否 查看建表语句 否 分区和列操作 功能 是否支持 添加分区 支持添加单个分区 不支持添加多个分区 删除分区 支持删除单个分区 不支持删除多个分区 不支持根据过滤条件删除分区 添加列或注释 是 修改列名 是 修改列注释 是 修改分区的更新...
添加磁盘
说明 此处以添加一块磁盘为例，请根据业务需求添加磁盘数量。在Hyper-V端添加磁盘 通过IDE控制台添加磁盘需要重启设备，通过SCSI控制器添加磁盘无需重启设备，此处推荐使用SCSI控制器添加磁盘。登录Hyper-V部署平台。进入 硬件>SCSI控制台 ...
添加磁盘
说明 此处以添加一块磁盘为例，请根据业务需求添加磁盘数量。在Hyper-V端添加磁盘 通过IDE控制台添加磁盘需要重启设备，通过SCSI控制器添加磁盘无需重启设备，此处推荐使用SCSI控制器添加磁盘。登录Hyper-V部署平台。进入 硬件>SCSI控制台 ...
CREATE TABLE.PARTITION BY
如果您没有使用一个包括 default 值的规则，那么任何 insert 语句试图添加一条与（至少一个分区的）指定规则不匹配的记录都会失败，并返回错误。当给范围分区表指定规则时，在最后的分区规则中包括关键字 maxvalue 来把所有未分类的记录...
INTERVAL RANGE分区
INTERVAL RANGE分区是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。INTERVAL RANGE分区需要包含Interval子句并为新分区指定范围大小。范围划分的高值由范围划分键值决定，当插入的数据值超过了...
ADD TABLE
使用示例 命令示例：添加一个别名为sale.res的分区表资源到MaxCompute。add table sale_detail partition(ds='20150602')as sale.res comment 'sale detail on 20150602'-f;返回结果如下。OK:Resource 'sale.res' have been updated.相关...
原理
分区表的管理可以分为以下10个主要模块：MODIFY：管理分区，是一类操作的集合，对象是一个一级分区，可以通过该指令管理这个分区下的二级分区。MOVE：移动分区，通常是移动其存储位置。ADD：增加分区，为分区表增加一个一级分区。COLESCE：...
ALTER TABLE
添加列。修改列。注意事项 目前ALTER TABLE的操作只支持OSS表。不支持对 partition key 做修改。不支持修改内表的列类型。如果表中存在大量的分区，修改列名称和类型会很耗时，请谨慎操作。添加分区 语法 ALTER TABLE table_name ADD[IF ...
添加分区和子分区
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，ALTER TABLE DDL 添加分区和子分区的支持转换范围。总览 add_table_partition:ADD { PARTITION[partition]add_range_partition_clause[,PARTITION[partition]add_...
- 产品推荐
- 这些文档可能帮助您