分区和列操作
如果您希望一次性删除符合某个规则条件的多个分区，可以使用表达式指定筛选条件，通过筛选条件匹配分区并批量删除分区。限制条件 每个分区过滤子句只能访问一个分区列。表达式用到的函数必须是内建的Scalar函数。注意事项 删除分区之后，...
数据建模
（比如：本表SQL执行输出与关联表SQL执行输出进一步的计算逻辑支持${result_1}和${result_2}的四则运算，支持使用abs取绝对值的运算比如：(${result_1}+5*abs(${result_1}-${result_2}))/2）逻辑表数据质量的强规则和弱规则有什么区别？...
创建逻辑卷
逻辑卷管理LVM（Logical Volume Manager）是Linux系统下的一种管理硬盘分区机制，在磁盘和分区之上建立一个逻辑层，可以灵活、高效地管理磁盘分区，简化了磁盘管理操作。逻辑卷的大小可以动态调整，而且不会丢失现有数据；即使新增了磁盘，...
AUTO模式数据库与DRDS模式数据库
本文介绍了什么是AUTO模式数据库与DRDS模式数据库，以及这两者模式的区别。PolarDB-X数据库模式概述 从 PolarDB-X 5.4.13版本开始，新增支持AUTO模式的数据库（也称为自动分区数据库）。AUTO模式的数据库支持自动分区，即创建表时无需指定...
MySQL分库分表同步至MaxCompute
手工添加逻辑表 在 自动生成逻辑表 与期望的匹配结果不符时，可以编辑逻辑表匹配规则，也可以通过 手工添加逻辑表 添加没有扫描到的逻辑表。单击 手工添加逻辑表，有几个逻辑表需要同步，就在此处添加几个。同一逻辑表的数据会同步到目标表...
MySQL分库分表同步至MaxCompute
手工添加逻辑表 在 自动生成逻辑表 与期望的匹配结果不符时，可以编辑逻辑表匹配规则，也可以通过 手工添加逻辑表 添加没有扫描到的逻辑表。单击 手工添加逻辑表，有几个逻辑表需要同步，就在此处添加几个。同一逻辑表的数据会同步到目标表...
为什么使用表格存储过程中会有少量的500错误
表格存储使用共享存储的机制，数据分区为逻辑单位，所以在负载均衡的过程中，不会有实际数据的迁移，仅仅是数据表元信息的变更，在元信息变更的过程中，为了保证数据的一致性，涉及到的数据分区会有短暂的不可用时间，正常情况下影响时间为...
发布者最佳实践
该代码的实现逻辑主要是根据一定的时间间隔，切换一次分区。public class MyStickyPartitioner implements Partitioner {/记录上一次切换分区时间。private long lastPartitionChangeTimeMillis=0L;记录当前分区。private int ...
ALTER TABLE
如果您希望一次性删除符合某个规则条件的多个分区，可以使用表达式指定筛选条件，通过筛选条件匹配分区并批量删除分区。限制条件 每个分区过滤子句只能访问一个分区列。表达式用到的函数必须是内建的Scalar函数。注意事项 删除分区之后，...
列存索引
在创建列存索引时，若宽表数据的主键字段不能直接作为列存索引的普通分区表达式，可以在普通分区表达式中包含计算逻辑，示例如下。对宽表所有字段创建列存索引，将列存索引数据按时间戳字段 ts 按天分区：CREATE INDEX my_ts_idx ...
日志投递MaxCompute后，如何检查数据完整性
通过MaxCompute分区粗略估计 比如在MaxCompute中以半小时做一次分区，投递任务为每30分钟一次，当表中包含以下分区：2017_05_19_10_00 2017_05_19_10_30 当发现分区2017_05_19_11_00出现时，说明11:00之前分区数据已经完整。该方法不依赖...
步骤一：扩容云盘容量
当云盘（系统盘或数据盘）使用空间不足时，您可以在ECS控制台上扩容云盘的容量以增加存储空间。本文为您介绍如何通过在线扩容（扩容完无需重启实例）和离线扩容（扩容完需要重启实例）两种方式扩容云盘容量。前提条件 请确保实例满足以下...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
热点分区分裂
场景 2：目标分区是包含有二级分区的一级分区 说明 包含二级分区的分区表，如果对其一级分区的热点值进行散列，分裂出的新分区，它的二级分区定义与原热点值所在的分区仍保持一致。表级用法 对于以下分区表：create table t1(a bigint ...
PolarDB MySQL版8.0.2版本发布日志
支持在分区有裁剪的查询中，优化器可以选择分区表的全局二级索引。2023-10-30 问题修复 修复OSS SERVER的AK信息损坏时，可能出现集群无法启动的问题。修复了部分场景下，GroupJoin算子占用过多内存导致查询失败的问题。修复了部分带有OR谓...
Tunnel常见错误码
当分区列值中有引号(pt='a'或pt="a")时，旧版本SDK没有做过引号处理，需要使用新版本的Tunnel SDK。多级分区中间有空格时，例如 pt1=a,pt2=a，需要把空格删掉。多级分区需要填写所有的分区。分区名大小写要与建表语句保持一致。报错信息：...
ANALYZE
如果表的包装器不支持 ANALYZE，该命令会打印一个警告并且什么也不做。在默认的配置中，自动清理守护进程会在表第一次载入数据或者用常规操作改变时负责表的自动分析。当启用自动清理时，定期运行 ANALYZE 是个好主意，或者可以在表内容做...
功能更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看...
文档更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段...
通过DELETE命令实现删除
value|value_list 做逻辑比较的值或值列表。重要 使用聚合类的表模型（AGGREGATE、UNIQUE）只能指定Key列上的条件。若选定的Key列不存在于某个物化视图或ROLLUP中，则无法进行DELETE。条件之间只能是“与”的关系。若希望达成“或”的关系...
接入方式
Collection<Callable<Void>>tasks=records.partitions().stream()/获取单个分区内消息.map(records:records)/为每个分区创建分区内消息串行消费的逻辑.map(partitionRecords->(Callable)()->{ for(ConsumerRecord,String>record:...
文档更新动态（2022年）
更新说明 什么是Dataphin 添加派生指标和衍生指标 新建注册上挂标签 2022年07月19日 增加回收站功能 可以将删除的数据处理任务还原。新增说明 管理回收站的资源对象 2022年07月19日 实时研发新增支持Ververcia Flink引擎 支持Flink SQL流批...
列存索引如何实现高效数据过滤
优点是数据预先按分区键分布，通常均具有较好的过滤效果，如果用户大部分查询条件均包含分区键，并且还有按分区管理数据生命周期的需求，分区表pruning是个不错的选择，可根据需要建立一级或二级分区。minmax：一般需要该列数据分布有较好...
Windows实例中数据恢复
在处理磁盘相关问题时，您可能会碰到操作系统中数据盘分区丢失的情况。本文介绍了Windows系统下常见的数据盘分区丢失的问题以及对应的处理方法，同时提供了使用云盘的常见误区以及最佳实践，避免可能的数据丢失风险。前提条件 已注册阿里云...
术语表
分区组（Partition Group）AUTO模式数据库中，当表组中的表为分区表时，该表组的所有表的某个分区构成一个分区组，分区组是分区调度的基本单元，属于某个分区组的所有表分区始终会位于同一个存储节点。Join Group AUTO模式数据库中，Join ...
单元测试报告
可累加值与不可累加值检查 检查可累加值和不可累加值的处理逻辑正确性，如：计算客户数总计时需要做去重处理，金额则可以累加。单元测试用例记录 序号 用例大类 测试要点 表 字段 自定义表达式 备注 1 规范性 命名规范检查（表、视图、工作...
通过LOCALITY指定存储位置（AUTO模式）
创建逻辑表时指定存储位置 在创建逻辑表时指定存储位置以实现数据隔离，目前支持在单表和Range、Hash、List三种分区方式的分区表中使用Locality关键字。在实例中创建一个逻辑表，并指定其存储位置。详细语法参见 CREATE TABLE（AUTO模式）...
插入或覆写数据（INSERT INTO|INSERT OVERWRITE）
这是因为从同一个表的同一个分区 select 出来再 insert overwrite 回相同分区时，文件切分逻辑发生变化，从而导致数据的Size发生变化。数据的总长度在 insert overwrite 前后是不变的，您不必担心存储计费会产生问题。并发写入场景，...
概述
性能良好 查询性能良好，采用了三层缓存设计：UDF内逻辑对象缓存+页面共享缓存+文件持久化缓存，有效减少了对OSS的访问次数，从而将OSS的读写延迟影响降到最低。覆盖场景广泛 支持通用、时空、时序数据的归档，例如将时空轨迹、高精度地图...
概述
性能良好 查询性能良好，采用了三层缓存设计：UDF内逻辑对象缓存+页面共享缓存+文件持久化缓存，有效减少了对OSS的访问次数，从而将OSS的读写延迟影响降到最低。覆盖场景广泛 支持通用、时空、时序数据的归档，例如将时空轨迹、高精度地图...
概述
性能良好 查询性能良好，采用了三层缓存设计：UDF内逻辑对象缓存+页面共享缓存+文件持久化缓存，有效减少了对OSS的访问次数，从而将OSS的读写延迟影响降到最低。覆盖场景广泛 支持通用、时空、时序数据的归档，例如将时空轨迹、高精度地图...
INSERT
插入分区子表 INSERT INTO public.hologres_2022 values('2022',1,now(),'a')常见问题 问题一：数据在写入时，为什么监控指标中存储用量上涨非常多，写入完成后存储用量又下降？根据写入的技术原理，为了尽可能快的写入数据，后台会先将...
Wi-Fi模组移植
模组可以结合自身Flash大小、Bootloader实现等调整Flash分区。Flash分区大小划分原则如下。获取芯片平台的Flash大小。获取bootloader信息，包括：bootloader支持的升级类型（原地或乒乓）、bootloader跳转地址（如果是乒乓会有两个跳转地址...
导入镜像必读
如果导入Others Linux平台镜像，ECS不会对所创建的实例做任何处理。完成实例创建后，请通过ECS管理控制台的远程连接功能连接实例，再自行配置IP、路由和密码等。如果您在制作镜像前开启了DHCP，ECS会自动为您配置网络。Customized Linux：...
通过整库迁移配置集成任务
若有其他分区需要，可以在生成管道后，单击单条管道修改分区相关的 准备语句。数据源 选择目标数据源。若无所需数据源，您也可以单击 新建数据源 进行创建。数据源创建，请参见 通过整库迁移配置集成任务。AnalyticDB for PostgreSQL目标...
通过整库迁移配置集成任务
若有其他分区需要，可以在生成管道后，单击单条管道修改分区相关的 准备语句。数据源 选择目标数据源。若无所需数据源，您也可以单击 新建数据源 进行创建。数据源创建，请参见 数据集成支持的数据源。TDH Inceptor、ArgoDB目标数据源类型...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
新增逻辑表质量规则
如果逻辑表中，添加了分区字段，则这里可以选择具体的分区值，例如“bank=$[yyyymmdd-1]”，详细操作，请参见 步骤二：选择需要配置规则的计算资源以及分区。步骤三：配置规则 配置表规则 当 步骤一：选择规则类型 中选择的规则类型为表...
何时选择RANGE分区
在这些列上对表进行分区可以实现分区剪枝。希望维护数据的滚动窗口。不能在指定的时间内完成大型表的管理操作，例如备份和恢复，但是可以根据分区范围列将它们划分为更小的逻辑块。示例：创建为期9年+的表 orders，并根据列 o_orderdate 按...
- 产品推荐
- 这些文档可能帮助您