Partition

名称 类型 描述 示例值 object Partition CreateTime integer 创建时间,Unix 时间戳秒数 1608730999 DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区时间 1608730999 LastAnalyzedTime integer ...

TTL表的定时任务

说明 该定时任务只是定期扫描物理时间分区(Local Partition),具体的创建或删除分区时间是由建表时的参数决定的。SELECT*FROM INFORMATION_SCHEMA.LOCAL_PARTITIONS_SCHEDULE\G;1.row*SCHEDULE_ID:21 SCHEMA_NAME:local_partition ...

离线同步能力说明

示例:创建一个离线同步任务,每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区,原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds,可以将任务配置如下:同步任务配置:调度参数配置:订单...

大数据计算服务MaxCompute

当缓存过期重新加载时会重新解析partition参数拉取最新的分区,使用max_two_pt()时维表可拉取两个分区,其他情况下只支持指定单个分区参数 说明 数据类型 是否必填 默认值 备注 cache 缓存策略。String 是 无 目前MaxCompute维表仅支持 ...

CREATE TABLE

数据分区参数说明:PARTITION BY RANGE TIME:表示数据按照时间范围分区。PARTITION BY HASH:表示数据按照HASH分区。PARTITIONS intValue:自定义数据的分区数量。示例 创建表dt。CREATE TABLE dt(p1 integer,p2 varchar,c1 integer,c2 ...

Spark对接MaxCompute

def write(s:String,emptyRecord:Record,schema:TableSchema):Unit={ val r=emptyRecord r.set(0,s)} 分区参数写法说明 SDK支持对MaxCompute分区表的读写,分区名的写法标准是分区列名=分区名,多个分区时以逗号(,)分隔。读分区pt为1的...

PartitionInput

名称 类型 描述 示例值 object Partition DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区时间,Unix 时间戳秒数 1608730999 LastAnalyzedTime integer 上一次执行统计运算的时间,Unix 时间戳秒...

对象存储OSS

String 否 process-time 对于写分区表,Flink提供了两种类型分区提交触发器,类型如下两种:process-time:分区提交触发器基于分区创建时间和当前系统时间,既不需要分区时间提取器,也不需要watermark生成器。一旦当前系统时间超过了分区...

MaxCompute分区表数据导入

编号 参数名 类型 取值 描述 1 datepre31 变量${yyyymmdd-31} 用于控制清理过期分区参数,此处含义为清理31天前的分区。2 datetime1 变量$bizdate 用于控制创建分区参数。3 holo_table_name 常量 holo_sale_detail Hologres分区表名。4...

为什么Topic有分区时间显示1970或“-”?

问题现象 Topic的分区更新时间显示为1970或者为“-”。可能原因 出现此问题的原因可能是以下情况中的一种:该分区没有消息数据,或者消息都已过期。客户端版本过低,或者传递的时间戳为null。Local存储引擎:开源Apache Kafka接口未提供该...

创建同步MaxCompute

目前管控台默认固定的MaxCompute分区格式,分区配置对应为 分区 时间Format 说明 ds%Y%m%d day hh%H hour mm%M minute 分区间隔决定了根据时间戳转换MaxCompute分区时所采用的时间间隔。时间范围是 15分钟~1440分钟(1天),跳变间隔 15...

配置规则:按表(单表)

更多时间业务日期分区表达式,详情请参见 调度参数支持的格式。内置的业务日期格式分区表达式如下表。说明 数据质量规则中,分区表达式不支持使用大括号相关格式。例如,${yyyymmdd-1}。分区表达式 描述 dt=$[yyyymmdd]表示获取定时时间。...

LIST DEFAULT HASH

创建LIST DEFAULT HASH分区表 语法 PolarDB 支持新的分区类型,前面是普通的LIST分区,不在LIST分区中的数据放在DEFAULT分区,如果DEFAULT分区太大可以根据HASH规则分成多个DEFAULT分区:CREATE TABLE[schema.]table_name table_definition...

Query

参数:startDate-开始时间 endDate-结束时间 返回:Builder timeRange public static Query.Builder timeRange(long startTime,long endTime)设置开始时间与结束时间参数:startTime-开始时间戳 endTime-结束时间戳 返回:Builder ...

ALTER TABLE

示例2:禁止表trans中时间为20141111分区的生命周期功能。alter table trans partition(dt='20141111')disable lifecycle;添加分区 为已存在的分区表新增分区。限制条件 MaxCompute单表支持的分区数量上限为6万个。对于有多级分区的表,...

为什么分区消费时间相差较大、滞后明显或乱序?

同一个 Group 的所有消费端实例,分区消费时间相差较大、滞后明显或乱序。现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面,找到目标Group,在其 操作 列,选择 更多>消费状态。在 Group 详情 的 消费状态 页签,显示该Group订阅的...

Jindo sql命令介绍

fs_image(分区表)fs_image用作转存image信息 参数 描述 atime INode最近访问时间。attr 文件相关属性。etag OSS的ETag值。id INode的ID。mtime INode的修改时间。name INode的名称。owner owner名称。ownerGroup owner组名称。parentId ...

Jindo sql命令介绍

fs_image(分区表)fs_image用作转存image信息 参数 描述 atime INode最近访问时间。attr 文件相关属性。etag OSS的ETag值。id INode的ID。mtime INode的修改时间。name INode的名称。owner owner名称。ownerGroup owner组名称。parentId ...

Jindo sql命令介绍

fs_image(分区表)fs_image用作转存image信息 参数 描述 atime INode最近访问时间。attr 文件相关属性。etag OSS的ETag值。id INode的ID。mtime INode的修改时间。name INode的名称。owner owner名称。ownerGroup owner组名称。parentId ...

生命周期管理介绍

功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则,可以基于数据最后访问时间分区值、分区/表最后修改时间分区/表创建时间四种规则类型,对数据定期进行存储类型转换,从而节省数据存储成本。同时,可以...

调度参数支持的格式

通常,使用中括号$[.],结合 yyyy、yy、mm、dd、hh24、mi 及 ss 自定义组合生成时间参数,获取定时时间前后多少年、月、天、小时、分钟、秒。可通过$[yyyymmddhh24miss]等$[.]自定义时间格式获取。例如,取前一天的前一小时,参数表达式为$...

创建MaxCompute Sink Connector

开启 分区配置 仅当 是否开启分区能力 参数设置为 开启 时需配置此参数。DAY:time列的时间格式为YYYY-MM-DD,例如:2023-01-01。HOUR:time列的时间格式为YYYY-MM-DD HH,例如:2023-01-01 12。MINUTE:time列的时间格式为YYYY-MM-DD HH:...

分区和列操作

合并分区分区表的分区进行合并,即同一个分区表下的多个分区合并成一个分区,同时删除被合并的分区维度的信息,把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...

分区表管理(auto_partition)

参数 说明 check_old 是否统计当前时间之前需要新增的分区,默认值为false。取值说明如下:true:统计当前时间之前需要新增的分区。false:不统计当前时间之前需要新增的分区。返回值说明:成功则返回根据分区规则所需要创建的新增分区数,...

路由到对象存储OSS

注意事项 Connector基于事件被处理的时间做时间分区,非事件的产生时间,如按时间分区时间边界的数据可能被投递至下一个时间分区目录。脏数据处理问题:如果在任务的自定义分区或文件内容中配置了JsonPath,但数据未命中JsonPath规则,...

创建OSS Sink Connector(新版)

注意事项 Connector基于事件被处理的时间做时间分区,非事件的产生时间,如按时间分区时间边界的数据可能被投递至下一个时间分区目录。脏数据处理问题:如果在任务的自定义分区或文件内容中配置了JsonPath,但数据未命中JsonPath规则,...

全局索引

PolarDB PostgreSQL版 的许多用户大量的使用分区表来管理自己的数据,其中较为典型的用法是以时间为维度对分区进行管理:分区表使用时间作为分区键。定期(每周或每月)创建新的子分区,新数据进入新的子分区中。定期对旧的子分区进行归档...

什么是TTL功能

随着时间的推移,新的分区会被创建,失效的分区会被删除,如下图所示:说明 PolarDB-X 默认会自动创建新分区和删除失效分区。您也可以在建表时禁用自动功能,通过DDL语句来手动创建或删除失效分区。一个周期后,创建的新分区和失效的分区,...

DDL操作常见问题

本文为您介绍对表、分区、列执行DDL操作过程中的常见问题。...命令查看旧的分区修改时间是否在生命周期内修改过。通过 desc tablename;命令查看生命周期时间,MaxComptue每天17:00点进行回收,DataWorks上的数据显示有延迟,一般会延迟一天。

TSDBClient

参数:point-时间点 将时间点同步写入TSDB putSync public<T extends Result>T putSync(Collection<Point>points,Class<T>resultType)从接口复制的说明:TSDB 同步写入方法 类型参数:T-Result.class,SummaryResult.class,DetailsResult....

表设计规范

分区设计与存储逻辑 一张表里有很多个一级分区,每个一级分区都会按时间存储二级分区,每个二级分区都会存储所有的列,如下图所示。分区设计需要注意:设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...

使用DataWorks同步iGraph数据

每隔一个周期上游节点应该会产出一个新分区数据存储需要同步的增量数据,一般分区名会与时间属性挂钩,那么同步的模板中${maxcompute_partition}参数可配置为此时间属性,并将此任务依赖上游分区产出节点。每当一个新分区产出时,都会自动...

数据质量入门

试跑时,将根据您选择的调度时间分区表达式、配置的质量校验规则,确认当前试跑的分区是否符合预期。在规则列表页面单击 试跑。配置 试跑分区 及 调度时间,单击 试跑。试跑结束后,单击下方链接,查看试跑结果。本文示例,试跑 表级规则...

Dataphin管道任务表分区如何配置当天时间

问题描述 Dataphin管道任务表分区配置当天时间的方法。解决方案 需要在调度配置页面配置“参数配置”,并且表分区中使用配置的变量,在运维环境中执行。适用于 Dataphin 版本v3.6.2 运维环境

ePQ支持分区表查询

多级分区表并行查询 在多级分区表中,每级分区表的分区维度(分区键)可以不同:例如,一级分区表按照时间维度分区,二级分区表按照地域维度分区。当查询SQL的过滤条件中包含每一级分区表中的分区键时,ePQ优化器支持对多级分区表进行静态...

配置并使用调度参数

调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值,实现在任务调度时间参数的动态替换。本文为您介绍如何配置及使用调度参数,并以ODPS SQL节点为例,讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...

Interval范围分区

WHERE range_partition_definition IS:PARTITION[]VALUES LESS THAN([,].)[TABLESPACE][(,.)]示例 本示例展示了按 sell_month 列上的时间间隔分区的 sales 表。创建范围分区是为了建立两个范围分区,然后插入一行不在已有分区范围内的数据...

数据规范

对于已经产出完成暨可用的数据分区,需要产出一个标识分区分区字段值为对应数据分区分区字段值后加.done,例如数据分区为 20210822,则对应的标识分区为 20210822.done。定时执行 如果您设置的全量调度策略为“定时执行”,则aime会...

FreeBSD系统盘扩容方法

gpart resize-i 1 vtbd0-i 参数指定分区编号,本示例中为系统盘的分区1 如下图所示,执行扩容分区命令后,返回“vtbd0s1 resized”,说明磁盘分区扩容成功,使用命令 gpart show 查看磁盘分区大小已经扩容到40G。执行如下命令,扩容文件...

存储引擎

数据分区:支持数据多级分区,且可按Value或范围进行分区,常用场景为按时间进行分区,可明显降低IO数据量,同时分区支持混合存储,历史数据和活跃数据可分层冷热存储。排序及粗糙集过滤:建表时可指定排序字段,数据通过排序后,一方面可...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 MongoDB 版 时间序列数据库 TSDB 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台
新人特惠 爆款特惠 最新活动 免费试用