Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。使用Jindo...
常见问题
分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有明显的时间属性，例如查询语句携带一个时间字段作为过滤字段，建议设置时间分区属性。在业务查询场景中，多数情况...
使用OSS Foreign Table分区表
例如，分区表需要按照year列划分一级分区，再按照month划分二级分区，其中某个一级分区为 year=2022、二级分区为 month=07，那么属于这个分区的数据文件必须要放在 oss:/bucket/year=2022/month=07 的目录下。创建OSS Server和创建OSS User...
Hologres结果表
Hologres与实时计算Blink独享模式（原产品线）深度融合，支持使用Connector的方式写入数据至Hologres结果表，您可以立即查询写入的数据。本文为您介绍实时计算Blink独享模式（原产品线）如何写入数据至Hologres结果表。使用限制 不同Blink...
DQL操作常见问题
子查询 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？交集、并集和补集 ...
Word2Vec
如果指定多个分区，用英文逗号（,）分隔。无 wordColName 是 单词列名。单词列中每行为一个单词，换行符用表示。无 inVocabularyTableName 否 对输入词汇表执行wordcount操作后的输出结果。系统会对输出表执行wordcount操作 ...
ePQ支持分区表查询
多级分区表并行查询 在多级分区表中，每级分区表的分区维度（分区键）可以不同：例如，一级分区表按照时间维度分区，二级分区表按照地域维度分区。当查询SQL的过滤条件中包含每一级分区表中的分区键时，ePQ优化器支持对多级分区表进行静态...
ePQ支持分区表查询
多级分区表并行查询 在多级分区表中，每级分区表的分区维度（分区键）可以不同：例如，一级分区表按照时间维度分区，二级分区表按照地域维度分区。当查询SQL的过滤条件中包含每一级分区表中的分区键时，ePQ优化器支持对多级分区表进行静态...
创建同步MaxCompute
分区模式 分区模式决定了将数据写入到MaxCompute哪个分区中，目前DataHub支持以下分区方式：分区模式 分区依据 支持Topic类型 说明 USER_DEFINE Record中的分区列（和MaxCompute的分区字段同名）的value值 TUPLE(1).DataHub schema中必须...
多级分区表静态裁剪与并行扫描
为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又进一步可以拆成二级子分区表，从而形成了多级分区表。支持多级分区表的静态分区裁剪，避免对无关分区进行扫描。同时，针对被裁剪后的分区表，...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
OPT_PARAM Hints
enable_partitionwise_aggregate 允许或禁止查询规划器使用面向分区的分组或聚集，这使得在分区表上的分组或聚集可以在每个分区上分别执行。如果GROUP BY子句不包括分区键，只有部分聚集能够以基于每个分区的方式执行，并且finalization...
OPT_PARAM Hints
enable_partitionwise_aggregate 允许或禁止查询规划器使用面向分区的分组或聚集，这使得在分区表上的分组或聚集可以在每个分区上分别执行。如果GROUP BY子句不包括分区键，只有部分聚集能够以基于每个分区的方式执行，并且finalization...
并发控制
使用默认隔离级别为WriteSerializable，盲 INSERT操作（即，在未读取任何数据的情况下盲目追加数据）添加的文件不会与任何操作冲突，即使它们接触相同的分区（或未分区表中的任何位置）也是如此。如果隔离级别设置为Serializable，则盲追加...
上下游存储
排查方法 通过以下步骤来确认Flink与Kafka之间是否存在代理或端口映射等转发机制：使用ZooKeeper命令行工具（zkCli.sh或zookeeper-shell.sh）登录您Kafka使用的ZooKeeper集群。根据您的集群实际情况执行正确的命令，来获取您的Kafka Broker...
全局索引
背景信息 分区表的Local Index，指每个分区都以一个Local Index分区，Local Index的分区规则和表的分区规则保持一致，因此Local Index只有包含分区键时才能作为唯一索引。Global Index与Local Index不同，全局索引是分区表父表上的单个索引...
ALTER TABLE…EXCHANGE PARTITION
ALTER TABLE…EXCHANGE PARTITION命令可以用一个分区或子分区交换现有的表。语法介绍 如果您打算添加大量的数据到分区表中，可以使用ALTER TABLE…EXCHANGE PARTITION命令来进行批量加载。您也可以使用ALTER TABLE…EXCHANGE PARTITION命令...
StarRocks物理表和字段详情
多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。注意：分区记录数和存储量信息仅供参考。说明 当数据表为 物理表（内部表）时，使用Less Than和fixed range创建分区时，为您展示分区名、分区...
使用Logstash（流式数据传输）
多级分区之间用英文逗号（,）连接，分区指定的顺序和建表时的顺序必须一致。partition_time_format 可选。指定当一个字符串型的日期时间字段被分区信息引用时，该字段的 源格式字符串。在本例中，时间字段 timestamp 已经被 date 插件转换...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
分区表提升 PolarDB PostgreSQL版（兼容Oracle）2.0版本 通过改进分区系统，使得使用分区表进行查询时获得了更好的性能提升。现在，用户可以使用更灵活的分区裁剪和智能join。此外，该版本还增强了对于触发器的支持，同时增加了逻辑复制的...
手动扩容云盘数据卷
随着业务发展和应用数据增长，当云盘使用空间不足时，您可以通过云盘扩容来解决磁盘容量不足的问题。但容器服务Kubernetes 1.16之前的旧版本不支持云盘自动扩容，您需要手动扩容云盘。本文介绍如何通过手动扩容云盘增加云盘空间。使用说明 ...
手动扩容云盘数据卷
随着业务发展和应用数据增长，当云盘使用空间不足时，您可以通过云盘扩容来解决磁盘容量不足的问题。但容器服务Kubernetes 1.16之前的旧版本不支持云盘自动扩容，您需要手动扩容云盘。本文介绍如何通过手动扩容云盘增加云盘空间。使用说明 ...
新建表
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。Key 分区：类似于按 HASH 分区，区别在于 KEY 分区只支持计算一列或多列，且 ...
顺序消息
阿里巴巴集团内部电商系统均使用分区顺序消息，既保证业务的顺序，同时又能保证业务的高性能。全局顺序消息 对于指定的一个Topic，所有消息按照严格的先入先出（FIFO）的顺序来发布和消费。适用场景 适用于性能要求不高，所有的消息严格...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
ODPS-0130071
数据插入表是一个分区表，其中有m个分区字段，但是插入数据SQL里只有n个分区列，导致数据写入找不到分区报错 解决方案 建议修改插入数据SQL，对齐分区字段。示例-创建表 create table if not exists mf_sale_detail(shop_name string,...
对象存储OSS
本文为您介绍如何使用对象存储OSS连接器。阿里云 对象存储OSS（Object Storage Service）是一款海量、安全、低成本和高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化...
物化视图和字段资产详情
多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。说明 仅当物化视图有分区字段为您展示分区信息。分区记录数和存储量信息仅供参考。数据预览：若有当前表的查询权限，可以使用数据预览功能，...
星环ArgoDB/TDH Inceptor物理表和字段详情
多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。注意：分区记录数和存储量信息仅供参考。说明 当分区为 值分区 时，为您展示分区名、记录数、存储量、创建时间信息。当分区为 范围分区 时，为...
创建云盘
您可以创建一块包年包月或按量付费的数据盘挂载至ECS实例使用，用于增加ECS实例的存储空间。本文介绍如何创建数据盘。背景信息 根据云盘的付费类型存在以下限制。云盘付费类型 限制说明 按量付费云盘 开通按量付费ECS资源时，您的阿里云...
新功能发布记录
当Topic上的分区数分配不均衡时，支持使用集群分区均衡引流功能将集群中所有云存储类型的Topic的分区进行引流调整，使每个节点上的分区数尽量保持一致。当云存储类型的Topic分区分配不均且流量过大时，支持使用Topic分区引流功能将此Topic...
示例
本文为您介绍分区剪枝示例，以便您掌握使用分区剪枝。示例：SELECT EXPLAIN 语句用于显示语句的执行计划。您可以使用 EXPLAIN 语句来确认是否从查询的执行计划中剪去分区。首先，创建一张简单表：CREATE TABLE sales(dept_no number,part_...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
表操作篇
为高效利用表格存储，在设计表格存储的表的主键时，需考虑表的分区键：分区方式 说明 使用 CardID 作为表的分区键 使用 CardID 作为表的分区键是一个比较好的选择。每天每张卡产生的消费记录数从总体上来讲是均匀的，每一个分区中的访问...
MAX_PT
返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现，select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
MaxCompute（原ODPS）数据源配置
2:分区过滤规则，支持指定多个分区字段的值，不同分区字段用逗号分隔，如：pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1，pt2=2，pt3=3的所有分区【多分区目前不支持function功能，即不支持%Y%m%d|-1 days这样的，单分区是可以支持的】。...
- 产品推荐
- 这些文档可能帮助您