CREATE EXTERNAL TABLE
PARTITIONED BY(column_name column_type[,…])否 创建分区外表时，需要配置该参数指定分区列。指定多个分区列，表示创建多级分区表。ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 是 指定列分隔符。您可以指定任意符号，但需和文件中的...
Topic引流
引流方式 引流方式 原理 影响 适用场景 持续时间 新增分区 为原集群节点上的所有Topic在扩容后的新节点中增加分区。分区消息乱序。分区数量改变。如果您的客户端无法自动感知到新分区（例如：指定分区发送消费以及一些数据处理场景），您...
表设计最佳实践
说明 对日志表进行分区设计时，可以按照日志采集的时间进行分区。在写入数据前进行数据的采集和整合，整合好后，一次性提交数据（通常是每64 MB提交1次）。日志数据很少会对原来分区执行更新操作，可以用INSERT操作进行少量数据的插入，但...
调度参数
夏令时支持现转实例引擎和参数分区计算，在进入和退出夏令时当天能正确运行。以美国西部时间为例，说明如下：进入夏令时会产生23个实例，当天03:00往前偏移10分钟的结果是01:50。进入夏令时当天定时时间2点的任务会空跑。退出夏令时会产生...
RDS迁移至MaxCompute实现动态分区
参数值默认为系统自带的时间参数${bizdate}，格式为yyyymmdd。说明 默认参数值与 数据去向 中的 分区信息 值对应。调度执行迁移任务时，目标表的分区值会被自动替换为任务执行日期的前一天，默认情况下，您会在当前执行前一天的业务数据，...
CREATE INDEX
RANGE_TIME_PARTITION_MAX_OVERLAP INTEGER 如果写入的数据时间点是将来的时间，这个参数表示最多允许与当前时刻的时间间隔，单位为天。不指定时默认允许写入未来1天的数据。RANGE_TIME_PARTITION_FIELD_TIMEUNIT LONG 表示业务指定的时间...
特征离散
切分得到的分区数不受指定的maxBins参数限制。参数配置 您可以使用以下任意一种方式，配置特征离散组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 离散的特征 选择需要离散的特征。标签列 ...
查看分区状态
分区用于存储消息，每个Topic由一个或多个分区组成，分区状态展示了各个分区的消息总量、最大及最小消费位点。当Kafka集群出现消息堆积、磁盘水位过高等异常...如果 最近更新时间 显示有异常，请参见 为什么Topic有分区时间显示1970或“-”？
Hologres维表
否 partitionedjoin 参数的取值如下：false（默认值）true 说明 此处的分区指在缓存中按照并发对维表的key进行分区，并非支持Hologres分区表做维表。async 是否异步读取数据。异步模式可以并发地处理多个请求和响应，从而连续的请求之间不...
动态分区
本文介绍 云数据库 SelectDB 版 动态分区相关的概念和示例，帮助您进行分区的动态管理，降低您的使用成本。概述 在某些场景下，可能会将数据库表按照天进行分区划分。如果需要手动管理分区，可能由于没有创建分区导致数据导入失败，这给...
MaxCompute（原ODPS）数据源配置
5.3 系统默认会对所有过滤规则，按照+0 days进行时间参数替换，因此，需要注意的是，用于过滤的字段值不能包含下面这些字符串作为普通的字符串参数，如星期三创建的任务，pt=abc 将匹配pt的值为Wedbc的分区，而不是pt=abc的分区。...
MaxCompute（原ODPS）数据源配置
5.3 系统默认会对所有过滤规则，按照+0 days进行时间参数替换，因此，需要注意的是，用于过滤的字段值不能包含下面这些字符串作为普通的字符串参数，如星期三创建的任务，pt=abc 将匹配pt的值为Wedbc的分区，而不是pt=abc的分区。...
使用Flink写入数据（Transaction Table2.0）
以下以创建两张表（Transaction Table2.0非分区表和分区表）作为示例，为您演示Flink数据写入MaxCompute的主要流程，其中表属性设置请参考 Transaction Table2.0表参数。创建Transaction Table2.0非分区表 CREATE TABLE mf_flink_tt(id ...
PolarDB MySQL版DDL操作指南
是否重建表（持续时间长短）：此类DDL需要根据新的表结构重新创建Primary Key以及所有二级索引，通常需要花费较长时间。说明 由于 PolarDB MySQL版 支持并行DDL功能，使用内核方式执行DDL的性能远优于使用gh-ost/pt-osc等第三方工具时的...
2023年
数据膨胀、倾斜与索引统计 SQL优化器 AnalyticDB PostgreSQL版 将join_collapse_limit参数默认值调整至10，从而优化多表JOIN时内存占用过高且执行时间过长的问题。无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已...
RestAPI Reader最佳实践
读取一个接口数据，该接口根据时间范围查询数据 示例场景：接口定义 本实践示例的场景为读取一个RESTful接口数据并写入一个MaxCompute分区表中，其中使用的示例RESTful接口为一个自建的测试GET接口，会根据接口输入的时间范围参数返回该...
INTERVAL RANGE分区
Where range_partition_definition is:PARTITION[]VALUES LESS THAN([,].)[TABLESPACE][(,.)]INTERVAL 参数仅支持设置数字和时间间隔：数字 相近的10个数字进入同一个分区，示例如下：INTERVAL(10)时间间隔 年 按年设置自动分区，示例如下...
消息查询
按时间查询消息 按时间查询允许查询全部分区的消息，不确定消息的位置，但确定消息发送的时间段，请指定该时间段中的某一个时间点查询该时间点附近的消息。在 消息查询 页面的 查询方式 列表中，选择 按时间点查询。在 Topic 列表中，选择...
确认表血缘
若上游节点产出的表分区值与下游节点依赖的表分区不匹配，您可根据业务需要综合考量，是否需要修改节点的调度参数配置，以此方式实现节点产出的表分区与节点依赖的表分区数据相匹配。若需依赖上游节点上一周期产出的表分区数据，您可考虑...
创建TTL表
参数说明 参数 是否必填 示例 说明 LOCAL PARTITION BY RANGE(column_name)是 LOCAL PARTITION BY RANGE(gmt_modified)指定TTL表的物理时间分区列。在物理表上数据会以此列做时间分区。STARTWITH 'yyyy-MM-dd' 否 STARTWITH '2022-01-01' ...
分区热力图
当鼠标悬浮到热力图某一点时，会自动弹出指标详情信息，参数说明如下：最上方颜色框：方框颜色与鼠标悬停处一致，框内数据表示该时间段内该分区的访问情况，单位为 rows/min，即 行数/分钟。开始时间：分区热力信息的采样开始时间。结束...
分区热力图
当鼠标悬浮到热力图某一点时，会自动弹出指标详情信息，参数说明如下：最上方颜色框：方框颜色与鼠标悬停处一致，框内数据表示该时间段内该分区的访问情况，单位为 rows/min，即 行数/分钟。开始时间：分区热力信息的采样开始时间。结束...
Kafka增量数据同步至MaxCompute
每个周期实例启动后，不会有时间戳小于结束时间参数的记录写入Kafka Topic。创建数据源 准备用于运行数据同步任务的工作空间与数据集成资源组，操作详情请参见 新增和使用独享数据集成资源组。本实践下文以一个标准模式的工作空间使用独享...
Kafka增量数据同步至MaxCompute
每个周期实例启动后，不会有时间戳小于结束时间参数的记录写入Kafka Topic。创建数据源 准备用于运行数据同步任务的工作空间与数据集成资源组，操作详情请参见 新增和使用独享数据集成资源组。本实践下文以一个标准模式的工作空间使用独享...
配置同步实例
PartitionKey.ModifyTime_Minute Boolean 否 true 设置增量日志表是否包含以增量更新时间对应分钟信息定义的分区，取值：true或 false。说明 当 DestinationEndpoint.InstanceType参数取值为 Maxcompute时，本参数才可用。...
发布者最佳实践
public class MyStickyPartitioner implements Partitioner {/记录上一次切换分区时间。private long lastPartitionChangeTimeMillis=0L;记录当前分区。private int currentPartition=-1;分区切换时间间隔，可以根据实际业务选择切换分区的...
配置示例：MaxCompute
多级分区表达式格式：1级分区名=分区值/2级分区名=分区值/N级分区名=分区值，分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如$[yyyymmdd-N]。分区表达式周期由配置的业务日期决定，例如配置运行时间为前5天，则...
扩容分区和文件系统（Linux）
说明 命令参数中的/dev/vdb 和 1 之间需要空格分隔，1 是分区编号。如果您扩容的是系统盘，命令中的/dev/vdb 需要替换为/dev/vda。Alibaba Cloud Linux 2/3版本、CentOS 6及以上版本 MBR分区 type growpart|sudo yum install-y cloud-utils...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
通过数据同步功能同步SLS至湖仓版（推荐）
同步配置 的参数说明如下：参数名称 参数说明 增量同步起始消费位点 同步任务启动时会从选择的时间点开始消费SLS数据。取值说明：最早位点（begin_cursor）：自动从SLS数据中最开始的时间点消费数据。最近位点（end_cursor）：自动从SLS...
2021年
对分区表使用跨机并行查询 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生crash recovery时，数据库可以在期望的RTO时间内完成崩溃恢复重启，恢复可用状态。...
ALTER（2.0版）
增加列 表创建好之后目前支持增加列。语法 ALTER TABLE table...参数 N为新的二级分区数。示例 TRADE表以天为二级分区单位，增量数据保存时间由30天改为60天。ALTER TABLE trade subpartition_available_partition_num=60;相关文章 二级分区表
通过数据同步功能同步Kafka至湖仓版（推荐）
同步配置 的参数说明如下：参数名称 参数说明 增量同步起始消费位点 同步任务启动时会从选择的时间点开始消费Kafka数据。取值说明：最早位点（begin_cursor）：自动从Kafka数据中最开始的时间点消费数据。最近位点（end_cursor）：自动从...
场景：配置增量数据离线同步任务
配置增量数据同步时：时间类型增量字段同步：可以通过调度参数来实现时间类型数据的动态替换，调度参数将在任务调度时自动根据业务时间替换为具体的值。关于调度参数的使用，详情请参见：调度参数支持的格式。非时间类型增量字段同步：可以...
TableModel
external_table PartitionKeys array 分区键。FieldSchemaModel 分区列信息。Parameters object 参数。string 参数的值。key:value Sd StorageDescriptorModel 存储描述信息。CreateTime string 创建时间。2023-01-05 13:17:55 ...
快速入门
目前管控台默认固定的MaxCompute分区格式，分区配置对应为：分区 时间Format 说明 ds%Y%m%d day hh%H hour mm%M minute 分区间隔决定了根据时间戳转换MaxCompute分区时所采用的时间间隔。时间范围是 15分钟~1440分钟（1天），跳变间隔 15...
离线同步数据质量排查
错误的查询检查条件 以MaxCompute为例，大多数情况下数据表都是分区表，分区值是DataWorks调度参数如$bizdate，常见的错误：调度参数没有合理的替换，即数据写出到$bizdate 这个字面值分区中，而非实际的业务日期（如20230118中）。...
通过整库迁移配置集成任务
单次同步：选择分区表，目标表将创建为分区表，需要配置 单次同步写入分区 参数，支持常量或分区参数。例如，常量 20230330、分区参数 ds=${bizdate}；选择非分区表，目标表将创建为非分区表。每日同步+单次同步：默认为分区表，不支持选择...
一键MaxCompute Merge任务节点问题排查方案
其后的数据处理逻辑：在T+1日的凌晨，启动Merge任务合并log表T日分区的增量数据和Base表T-1日分区中的全量数据，输出T日的全量分区数据。其过程如下图所示（分区表为例）：离线任务节点 一键实时同步到MaxCompute流程执行完成后，数据集成...
如何快速测试云消息队列 Kafka 版服务端是否正常？
分区状态信息 参数 说明 分区ID 该Topic分区的ID号。最小位点 该Topic在当前分区下的最小消费位点。最大位点 该Topic在当前分区下的最大消费位点。分区消息量 该Topic在当前分区下的消息总量。最近更新时间 本分区中最近一条消息的存储时间...
- 产品推荐
- 这些文档可能帮助您