LIST COLUMNS-*组合分区
创建LIST COLUMNS-HASH二级分区 模板化用法 CREATE TABLE tb_lc_h_tp(id bigint not null auto_increment,bid int,name varchar(30),birthday datetime not null,primary key(id))PARTITION BY LIST COLUMNS(birthday,name)SUBPARTITION BY...
读取以分区方式存储的OSS数据
本文为您介绍MaxCompute支持的OSS标准分区路径格式和自定义分区路径格式。背景信息 创建OSS外部表后，MaxCompute会全量扫描OSS目录下的所有数据，包括子目录下的数据文件。但当数据量比较大时，对全目录扫描会产生不必要的I/O消耗以及数据...
LIST-*组合分区
创建LIST-HASH二级分区 模板化用法 CREATE TABLE tb_l_h_tp(id bigint not null auto_increment,bid int,name varchar(30),birthday datetime not null,primary key(id))PARTITION BY LIST(TO_DAYS(birthday))SUBPARTITION BY HASH(bid)...
特征重要性过滤
指定输入表的分区：指定单个分区，格式为 partition_name=value。指定多个分区，格式为 name1=value1,name2=value2。说明 多个分区之间用英文逗号（,）分隔。指定多级分区，格式为 name1=value1/name2=value2。否 weightTable 特征重要性的...
概述
一级分区与二级分区完全正交 PolarDB-X 的一级分区与二级分区均支持使用以下的7种的分区策略：HASH分区 KEY分区 RANGE分区 RANGE COLUMNS分区 LIST分区 LIST COLUMNS分区 CO_HASH分区 因此，PolarDB-X 的一级分区与二级分区是完全正交的...
Quick Audience数据导入中调度任务...提示表分区无数据
问题描述 Quick Audience数据导入中调度任务执行失败，报错提示表分区无数据...解决方案 数据导入的任务调度的分区日期与业务数据分区日期保持一致，可以在表结构配置的时候对分区日期字段和分区值格式进行设置。适用于 Quick Audience V4版本
云服务器ECS多分区场景下的磁盘分区扩容方法
系统返回类似如下，若 Disklabel type 参数值为 dos，则分区表格式为MBR，若 Disklabel type 参数值为 gpt，则分区表格式为GPT。执行如下命令，查看文件系统的类型。blkid[$Partition]注：[$Partition]对应当前磁盘的最后一个分区。系统...
查看实例风险
Topic 格式转换 同步发送问题 碎片化发送问题 单分区Topic风险 Topic分区倾斜问题 生产流量 分区数量配额 分区分配策略问题 Group 消费消息接收耗时 消费消息排队耗时 消费消息读磁盘耗时 消费消息读磁盘耗时 消费消息格式转换时间 Group...
单表实时同步至MaxCompute的任务，支持自定义分区配置
步骤三：配置分区 单击 新增字段 按钮，添加一级分区pt，取值选择 手动赋值，输入${yyyyMMdd}，表示使用数据实际时间戳按照 yyyyMMdd 进行格式化的结果。单击 新增字段 按钮，添加二级分区val，单击选择变量后的 按钮，默认为 选择变量，...
合并小文件
分区格式也可能是其他格式 for partition in t.iterate_partitions(spec="ds=s"%$datetime):instance=odps.run_merge_files(table_name,str(partition),hints=hints)#从这个logview的Waiting Queue点进去，才可以找到真正执行的logview ...
Tunnel操作
格式为 partition_col1=col1_value1,partition_col2=col2_value1.使用示例 示例1：将log.txt中的数据上传至当前项目空间的表test_table中。log.txt文件归档在MaxCompute客户端的 bin 目录中。命令示例如下。Tunnel upload log.txt test_...
ALTER MATERIALIZED VIEW
格式为(partition_col1=partition_col_value1,partition_col2=partition_col_value2,.)。partition_col 是分区字段，partition_col_value 是分区值。enable|disable：必填。enable 代表开启，disable 代表禁用，禁用后该分区或表就不涉及...
管理数据集
若您的数据集带有分区字段，则会出现分区字段同步设置，具体设置请参见 分区值格式说明。（可选）单击 更多操作>复制，可以复制当前数据集。（可选）单击 更多操作>重命名，可以重命名当前数据集。（可选）单击 更多操作>相关卡片和作品，...
TRUNCATE
格式为(partition_col1=partition_col_value1,partition_col2=partition_col_value2,.)。partition_col 是分区字段，partition_col_value 是分区值。分区字段不区分大小写，分区值区分大小写。partition_filtercondition：指定筛选条件时必...
用户标签
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。若表不包含时间分区，则无需选择。若您选择的是视图，则需要您手动选择是否包含时间分区。若视图包含时间分区，请选择时间分区字段，并输入分区值的格式...
统计表
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据。全量更新：每次更新前...
表管理
功能 描述 分区日期格式 用于设置分区表进行分区时的日期格式。默认为 YYYYMMDD。分区字段命名 分区字段的标识，建议使用 dt。临时表前缀 临时表的前缀标识。默认前缀为 t_。符合该前缀的临时表将不会被纳入 自动解析。上传表（导入表）...
订单明细
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据，并设置数据回刷天数，...
分区和列操作
新增的分区，格式为(partition_col1=partition_col_value1,partition_col2=partition_col_value2,.)。partition_col 是分区字段，partition_col_value 是分区值。分区字段不区分大小写，分区值区分大小写。使用示例 示例1：给表sale_detail...
用户行为
若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存历史数据，把新的数据保存在新的分区。需要选择首次调度是否拉取历史数据。全量更新：每次更新前...
分区和列操作
新增的分区，格式为(partition_col1=partition_col_value1,partition_col2=partition_col_value2,.)。partition_col 是分区字段，partition_col_value 是分区值。分区字段不区分大小写，分区值区分大小写。使用示例 示例1：给表sale_detail...
ALTER TABLE
新增的分区，格式为(partition_col1=partition_col_value1,partition_col2=partition_col_value2,.)。partition_col 是分区字段，partition_col_value 是分区值。分区字段不区分大小写，分区值区分大小写。使用示例 示例1：给表sale_detail...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
pt_spec 必选 新增的分区，格式为(partition_col1=partition_col_value1,partition_col2=partition_col_value2,.)。其中，partition_col 表示分区字段，partition_col_value 表示分区值。分区字段不区分大小写，分区值区分大小写。location...
Paimon系统表
列名 数据类型 含义 partition String 文件所在的分区，格式为[分区值 1,分区值 2,.]。bucket Integer 文件所在的分桶，只对固定分桶的主键表有意义。file_path String 文件路径。file_format String 文件格式。schema_id Long 快照文件...
MaxCompute投递任务（新版）常见报错与问题
partition_time_字段是根据日志服务中_time_字段的值计算得到的，结合时区配置以及分区时间格式，生成时间字符串。为避免触发MaxCompute单表分区数目的限制，日期分区列的值按照1800秒（半小时）对齐。更多信息，请参见_partition_time_...
创建OSS投递任务（旧版）
PARTITION-FORMAT是根据投递任务的创建时间格式化而得到的，以创建时间为2017/01/20 19:50:43的投递任务为例，介绍分区格式，如下表所示。OSS Bucket OSS Prefix 分区格式 OSS文件路径 test-bucket test-table%Y/m/d/H/M oss:/test-bucket/...
配置示例：MaxCompute
多级分区表达式格式：1级分区名=分区值/2级分区名=分区值/N级分区名=分区值，分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如$[yyyymmdd-N]。分区表达式周期由配置的业务日期决定，例如配置运行时间为前5天，则...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
pt_spec 必选 新增的分区，格式为(partition_col1=partition_col_value1,partition_col2=partition_col_value2,.)。其中，partition_col 表示分区字段，partition_col_value 表示分区值。分区字段不区分大小写，分区值区分大小写。location...
2019年
ACID语义、Upload、命令格式 2019-05-13 更新Spark开发指南。新示例 新增Java、Scala和PySpark开发示例。搭建Linux开发环境、概述、PySpark开发示例 2019-05-10 新增欠费预警接收设置步骤说明。新说明 主账号可以设置子账号接收欠费预警...
服务支持
数据源管理常见问题 自定义域名常见问题 DataV-TwinFabric 孪生仿真 配置了RAM账号后，为什么搜不到 DataV-Atlas 可视分析地图 数据源问题 DataV-Card可视分析创作间 数据集常见问题 数据集数据源问题 分区值格式说明 如何在钉钉中配置长图...
CREATE TABLE（AUTO模式）
table_partition_definition:single|broadcast|partition_options#分区定义 partition_options:partition_columns_definition[subpartition_columns_definition][subpartition_specs_definition]/*用于定义模板化二级分区*/partition_...
配置规则：按模板（批量）
分区表：表达式格式：分区名=分区值，分区值可以是固定值，也可以是 附录二：内置分区表达式。运行设置 触发方式 监控规则的运行方式。生产调度触发：通过DataWorks运维中心中关联指定的周期调度任务，节点运行完成后，自动触发该质量监控...
配置规则：按表（单表）
分区表：表达式格式：分区名=分区值，分区值可以是固定值，也可以是 附录二：内置分区表达式。说明 使用自定义模板、自定义SQL配置规则时，此处配置不生效。即使用自定义模板、自定义SQL配置的质量规则校验的分区由自定义SQL决定。运行设置...
表属性管理
工具栏中提供以下功能键：操作键 说明 格式化 单击，格式化语句以方便查看。下载 单击，下载 DDL 为本地文件。刷新 单击，刷新分区列表。导出 单击右上角的导出图标，导出单表数据，具体信息请查看本手册文档 导入和导出。
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
回切至本地物理机
USB驱动盘制作 按要求填写设备选项及格式化选项的各项参数，单击 开始。配置情况如下表所示：参数 说明 设备 选择插入的U盘。引导类型选择 选择刚下载的Aliyun-BCDR-BMR-Shadow-VM-Win-2.5.0.iso镜像。分区类型 选择 MBR。目标系统类型 ...
云盘扩容后使用growpart扩展GPT分区失败该如何处理？
问题现象 云盘的分区格式为GPT，云盘进行云盘容量扩容后，使用growpart工具扩展分区（例如/dev/vdb1）或者文件系统时提示如下图所示的报错信息，导致云盘容量扩容了但是分区和文件系统的可用空间没有增加。本文以/dev/vdb1 分区为例进行...
使用快照创建云盘
云盘创建后，每块云盘都是独立个体，无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。如果使用快照新创建的云盘挂载到原ECS实例（快照所在的ECS实例），新创建云盘的UUID会和原云盘冲突，您需要修改新云盘的...
OSS数据源
自动映射了以下分区：year=2020/month=03/day=01 year=2020/month=03/day=02 year=2020/month=04/day=29 year=2020/month=04/day=30 Table4 创建分区表Table4 分区格式为age=xx。自动映射了age=20分区。Table5 创建分区表Table5 分区格式为...
新建表
步骤 6：确认 SQL 单击 提交 后，在 SQL 确认页面查看语句，支持 SQL 检查 和 格式化 语句以方便查看。语法格式如下：CREATE TABLE table_name(column_name column_type,column_name column_type,.);参数说明：参数 说明 CREATE TABLE 用于...
- 产品推荐
- 这些文档可能帮助您