生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
使用冷存储
用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间，并通过建表语句指定将冷数据存放在冷存储介质上面，同时HBase增强版还基于冷存储实现了在同一张表内的冷热分离功能，能够自动将表中热数据放到读写速度快的热存储中，而把不...
PolarDB HTAP实时数据分析技术解密
因此要达到最极致的分析性能必须使用列式存储，而列式存储中索引稀疏导致的索引精准度问题决定它不可能成为TP场景的存储格式，如此行列混合存储成为一个必选方案。但在行列混合存储架构中，行存索引和列存索引在处理随机更新时存在性能鸿沟...
使用限制
本文将介绍自增列的限制与注意事项，以及处理主键冲突的方法。限制与注意事项 在AUTO模式数据库中，仅支持关联New Sequence；在DRDS模式库中，单表默认不关联Sequence，除非显式指定类型；新创建的表不包含主键时，PolarDB-X 会自动通过 ...
云存储网关升级失败了该如何处理
本文介绍云存储网关升级失败的处理方法。如果云存储网关实例的版本与网关服务器的最新版本相差较大，可能需要多个连续的迭代升级，无需干预，等待最终版本升级完成即可。如果升级失败，会自动回滚到升级前的最初版本，并给予提示。如果回滚...
将Oracle数据同步到表格存储
通过Tapdata Cloud的可视化界面，您可以将Oracle数据实时同步到表格存储（Tablestore）中。前提条件 使用Tapdata Cloud同步Oracle数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储实例和表。具体操作，...
列存索引技术架构介绍
列式存储由于有更好的IO效率（压缩、DataSkipping、列裁剪）以及CPU计算效率（Cache Friendly），因此要达到最极致的分析性能必须使用列式存储，而列式存储中由于索引稀疏导致索引精准度问题决定了它不可能成为TP场景的存储格式。...
概览
实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通，支持实时写入Flink的数据，可以实时查询写入的...
预处理规则管理
查看预处理规则详细信息 在预处理规则列表中，单击预处理规则名称链接，即可查看该预处理规则的详细信息，包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下，可以查看预处理...
创建数据投递任务后，为什么OSS中无投递数据
问题描述 通过表格存储控制台或者SDK为数据表创建数据投递任务后，在对象存储OSS的相应存储空间Bucket中未找到投递数据。重要 新建的投递任务存在最多1分钟的初始化时间。创建投递任务后，请等待一段时间再查看投递到OSS的数据。可能原因 ...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
异常处理
400 InvalidPartOrder 无效的分片顺序 400 InvalidTargetBucketForLogging Logging操作中有无效的目标存储空间 400 InternalError OSS内部错误 500 MalformedXML XML格式非法 400 MethodNotAllowed 不支持的方法 405 MissingArgument 缺少...
功能特性
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。MaxCompute Spark 使用Spark计算引擎时，支持...
计算与分析概述
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
pg_attribute
attcacheoff int4 在存储中总是为-1，但是当被载入到一个内存中的行描述符后，这里可能会被更新为属性在行内的偏移。atttypmod int4 atttypmod 记录了在表创建时提供的类型相关数据（例如一个 varchar 列的最大长度）。它会被传递给类型...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
解析记录冲突规则
记录冲突的原因 在进行递归解析查询时，各记录类型之间是有优先级的，所以在主机记录相同、解析线路相同的情况下，有几种记录类型不能共存使用，否则会给用户造成配置风险，导致业务不可用的情况发生。以下拿CNAME记录和MX记录的冲突来举例...
图片处理常见问题
本文主要介绍您在使用OSS图片处理时可能遇到的一些常见问题及处理方法。遇到问题时，如果有明显的参数超过显示等问题，可以使用OSS的?x-oss-process=image/info 参数查看原始图片中的信息是否超标。OSS单边长度不能超过4096，乘积不能高于...
准备工作
说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource，OrderSource表有两个主键UserId（用户ID）和OrderId（订单ID）和两个属性列price（价格）和timestamp（订单时间）。DataV数据可视化 登录DataV的用户名和密码...
时序模型介绍
如果要以更低成本备份表格存储中的时序数据或者以文件形式导出时序数据到本地，您可以通过DataWorks数据集成服务将表格存储中的时序数据导出到OSS后进行存储或者下载。更多信息，请参见 将表格存储数据同步到OSS。如果要可视化展示时序数据...
外部表概述
以OSS为例，如果您需要在MaxCompute中处理OSS上的数据，通常有以下两种方式：通过OSS SDK或者其他工具从OSS下载数据，然后再通过MaxCompute Tunnel将数据导入表里。编写UDF，在UDF里直接调用OSS SDK访问OSS数据。但这两种方法都有不足之处...
限定符
在本章中，采用以下约定来避免命名冲突：SPL 程序声明部分中声明的所有变量均带有 v_前缀。例如，v_empno。在存储过程或函数定义中声明的所有形参均带有 p_前缀。例如，p_empno。列名称和表名称没有任何特殊的前缀约定。例如，表 emp 中的...
SQL错误码（ODPS-01CCCCX）
本文为您介绍SQL错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-01CCCCX:通用描述-上下文相关说明 SQL错误包含META（CCCC段为1000~1999）、PROCESSOR（CCCC段为2000~2999）、PARSER（CCCC段为3000~3999）和PLANNER...
LLM-敏感词过滤（MaxCompute）
LLM-敏感词过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，可以过滤掉带有敏感词的样本。使用限制 仅支持MaxCompute计算引擎。算法简介 识别文本中是否包含敏感词，过滤掉包含敏感词的样本。支持返回文本中包含的敏感词。默认...
按自定义时间列冷热分离
当自定义时间列中的值越过设置的冷热分界线后，整行数据会被归档至冷存储中。自定义时间列的设置需遵循以下规则：自定义时间列必须为主键。自定义时间列不能作为主键第一列。自定义时间列必须为BIGINT类型，格式为Unix时间戳，单位为毫秒...
Blink和Flink常见问题及诊断
本文为您介绍使用Hologres过程中关于Blink和Flink的常见问题。基本概念 Hologres性能 写入性能 列存表：InsertOrIgnore>InsertOrReplace>InsertOrUpdate 行存表：InsertOrReplcae=InsertOrUpdate>InsertOrIgnore 参数 说明 InsertOrIgnore ...
列存索引行列融合基础组件介绍
在这套系统中，处理两种请求的存储、执行器、优化器都彼此独立，TP请求和AP请求在执行路径上完全分离，一条SQL语句要么选择列式计算，要么选择行式计算。长尾请求问题 从用户的工作负载中可以看到，对于混合负载中的大部分请求，“行列分离...
表操作篇
如果有一批数据要上传到表格存储中，同时这批数据是按主键排列顺序的，若按顺序写入数据，可能会导致写入压力集中在某个分区中，而其他的分区处于空闲状态，无法有效利用预留读/写吞吐量，影响数据导入速度。可以采取以下任一措施来提升...
玄武分析型存储
玄武分析存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB实现高吞吐实时写入、高性能实时查询的基础支撑。高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层...
配置自定义Topic数据存储
如果需要长时间存储自定义Topic数据、降低存储成本、进一步处理自定义Topic数据例如 数据分析、数据报表、数据API，可以开启 数据备份，会自动在 离线存储 中创建相应的 自定义存储表，表名称的格式为 时序存储规则${规则ID}-随机ID。...
DBMS_UTILITY
DBMS_UTILITY包支持以下各种实用程序：函数/存储过程 类型 返回类型 说明 ANALYZE_DATABASE(method[,estimate_rows[,estimate_percent[,method_opt]]])存储过程 N/A 分析数据库表。ANALYZE_PART_OBJECT(schema,object_name[,object_type[,...
关键词
冲突处理 请参见每个参数中关于冲突的说明。长边与短边 关于“长边”和“短边”的定义需要特别注意，它们表达的是在缩放中相对比例的长或短。“长边”是指原尺寸与目标尺寸的比值大的那条边；“短边”同理。如原图400*200，缩放为800*100...
如何设计宽表主键
Lindorm宽表引擎是一款分布式数据引擎，宽表引擎中的数据均按照主键进行分布。在执行查询时，如果表中存在多列主键，系统会从最左边的主键开始匹配。如果主键设置不当，则可能导致主键无法被有效利用，进而产生热点问题，影响查询性能。...
宽表模型介绍
如何理解主键、数据分区和数据分区键 表格存储中表、行、列、值和电子表格的类比 相关文档 您可以通过控制台、命令行工具快速体验宽表模型。具体操作，请参见 使用宽表模型。如果要实现实例数据的机房级容灾，您可以通过创建同城冗余类型的...
什么是表格存储
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL...
Quick BI中变更查询条件的时候提示“扩展冲突”
问题描述 Quick BI中变更查询条件的时候提示“扩展冲突”，错误提示如下：问题原因 当查询条件变化的时候，行和列的数量发生了增加，但是由于对应位置有其他数据集将位置占用导致位置冲突，如下情况：解决方案 将行和列会随着查询条件增加...
高级管理FAQ
启用生命周期管理功能，您可以将通用型NAS文件系统中长期未访问的冷数据转存至成本更低的低频存储或归档存储中。如果您不想在使用生命周期管理功能，可参照以下步骤进行关闭：登录 NAS控制台。在左侧导航栏，选择 生命周期管理>生命周期...
功能概述
数据版本和生命周期 主键列自增 设置非分区键的主键列为自增列后，在写入数据时，无需为自增列设置具体值，表格存储 会自动生成自增列的值。该值在分区键级别唯一且严格递增。主键列自增 条件更新 只有满足条件时，才能对数据表中的数据...
使用INSERT ON CONFLICT覆盖写入数据
表t1中的非主键列进行了更新，返回示例如下：a|b|c|d-+-+-+-0|2|2|2(1 row)除了上述两种情况，覆盖写入功能支持更多使用场景，场景如下：主键冲突的情况下，在部分列中覆盖写入数据（适用于基于冲突数据覆盖部分列的场景）：例如主键冲突后...
- 产品推荐
- 这些文档可能帮助您