Dataphin在SQL脚本中使用正则表达式判断字符是不是...
概述 本文主要描述了Dataphin在SQL脚本使用正则表达式判断字符是不是整数的方法。详细信息 可以在SQL脚本中使用正则表达式判断。SELECT '123' REGEXP '^([0-9]{1,})$';适用于 Dataphin v3.6.3
Dataphin在SQL脚本使用正则表达式判断字符是不是小数
概述 本文主要描述了Dataphin在SQL脚本使用正则表达式判断字符是不是小数的方法。详细信息 可以在SQL脚本中使用正则表达式判断。SELECT '123.6' REGEXP '^([0-9]{1,}[.][0-9]*)$';适用于 Dataphin v3.6.3
更改列存表的数据存储格式
不支持通过修改存储格式完成列存表转换为行存表，如需变换，请重新创建新的表结构。查看数据存储格式 您可以使用如下SQL语句查看数据库中各张表的存储格式：语法示例 SELECT*FROM hologres.hg_table_properties WHERE property_key='...
INSERT ON CONFLICT(UPSERT)
不同表存储格式（行存、列存、行列共存）在更新时的细节处理会略有不同，这就导致不同存储模式的表在更新时，性能会有不同。而根据业务的需求，INSERT ON CONFLICT又可以分为 InsertOrIgnore、InsertOrReplace、InsertOrUpdate，三者的具体...
实时计算Flink版实时消费Hologres
因此，对于数据更新频繁的场景，建议使用存储格式为行存的表开启Binlog。默认的Binlog源表不支持数组类型，仅支持INTEGER、BIGINT、TEXT、REAL、DOUBLE PRECISION、BOOLEAN、NUMERIC(38,8)和TIMESTAMPTZ数据类型。说明 对不支持的数据类型...
Python SDK示例：Table
判断表是否存在 通过调用入口对象的 exist_table()方法判断表是否存在；通过调用 get_table()方法获取表。t=odps.get_table('table_name')t.schema odps.Schema { c_int_a bigint c_int_b bigint c_double_a double c_double_b double c_...
CREATE TABLE AS
[IF NOT EXISTS]判断新创建的表是否已存在，若存在则跳过。src_table_name 源表或视图（VIEW）名称，即要复制的表或视图名称。说明 Hologres从 V2.1.21版本开始，支持将视图（VIEW）作为数据源，即支持复制视图的结构和数据创建表。select_...
表索引诊断
存储为0的表 展示当前热存和冷存都为0的表。建议及时清理存储为0的表，以减少Meta内存的占用。Segment格式的表 展示当前实例中所有采用Segment格式存储的表。从V2.0版本开始，Hologres将不再支持Segment格式的表，需要手动将表转换为压缩...
Bloom过滤器索引
该技术可以快速判断表文件中是否包含要查询的数据，如果不包含就及时跳过该文件，从而减少扫描的数据量，提升查询性能。说明 详细内容可参考Databricks官网文章：Bloom过滤索引 如果在表的某列上创建了布隆过滤器索引，并且使用 where col=...
Dataphin在SQL脚本使用正则表达式判断字符是不是整数...
概述 本文主要描述了Dataphin在SQL脚本使用正则表达式判断字符是不是整数或小数的方法。详细信息 可以在SQL脚本中使用正则表达式判断。SELECT '100' REGEXP '^[0-9]{1,}+(\.[0-9]{1,})?';适用于 Dataphin v3.6.3
DELETE
如果是列存表，系统会在内存中存储一张标记表，然后Flush成标记表文件，标记表文件会记录删除的数据所在的文件号（file id）和行号（row id），然后在Compaction的时候做合并。更多原理请参见 Hologres高性能写入技术揭秘。为了提高删除...
自助健康检查常用命令
按需使用Binlog Binlog能力强大，但消耗资源也更多，使用Binlog的表写入性能会受到较大影响，行存表Binlog的开销会远小于列存表，因此对于列存表，谨慎开通Binlog能力。检查命令如下。列出所有配置了Binlog的表 select table_namespace as ...
迁移HBase至Hologres
假设线上服务的表为 t_online；创建临时表 begin;create table t_tmp(.)commit;向临时表写入数据 insert into t_tmp select*from t_offline;更新统计信息 vacumm t_tmp;analyze t_tmp;在事务中，实现原子替换 begin;alter table t_online ...
Hologres维表
使用限制 建议使用 Hologres的行存表，列存表对于点查场景性能开销较大。创建行存储表时必须设置主键，并且将主键配置为 clustering key 才可以工作，Hologres创建表的示例语句如下。begin;create table test(a int primary key,b text,c ...
ANALYZE和AUTO ANALYZE
开启auto analyze后，系统会根据用户的建表、数据写入和修改情况等来判断是否需要对相关的表在后台自动Analyze，无需再手动对表进行Analyze，降低操作复杂度，同时减少遗漏Analyze而导致缺失统计信息的情况。使用语法 查看是否开启Auto ...
自动同步PolarDB-X元数据
当您需要 一站式完成 PolarDB分布式版 数据同步与管理时，可以在 PolarDB分布式版 实例中开通列存引擎并绑定目标 湖仓版（3.0）集群。相较于其他数据同步方案，一站式方案同步数据成本低、简单易用、能实时同步数据，可实现真正的实时分析...
列存表使用排序键和粗糙集索引加速查询
本文介绍如何在列存表中使用排序键结合粗糙集索引，从而提高查询性能。重要 本文适用于：存储预留模式：数据库内核版本为20200826版本之后的新建实例。存储弹性模式：数据库内核版本为20200906版本之后的新建实例。背景信息 当您创建表的...
SHOW COLUMNAR STATUS
答：用户无需关心ID列，它只是对应每一个列存索引的唯一标识，具有全局唯一性，用于列存内核区分列存索引，解决列存索引名称相同，删除列存索引再建相同列存索引等问题，列存索引删除再建时尽管名称相同，唯一标识ID会不同。列存索引的ROWS...
什么是实时数仓Hologres
在线高性能主键点查 基于行存表的主键索引和查询引擎的短路径优化，Hologres支持每秒数十万QPS高性能在线点查、前缀扫描，支持高吞吐实时更新，相比开源系统性能提升10倍以上，可用于实时加工链路的维表关联、ID-Mapping等场景。...
表统计信息查看与分析
Hologres从 V1.3版本开始提供表统计信息日志系统表（hologres.hg_table_info）按日收集实例内表的统计信息，帮助您对实例中的表信息进行查看、分析，以便您可以根据这些信息采取优化措施。本文将会介绍在Hologres中如何查看表统计信息并...
组件配置
condition function 属性设置器展示的条件判断方法 根据target参数可以获取组件props的值，基于当前的props值来判断是否需要此属性配置。缺省：一直展示。返回true：展示。返回false：不展示。PropRule 错误检查配置 声明组件的一个错误...
如何快速定位及解决数据库问题
本文介绍了数据库发生故障时的快速判断方法和解决办法。如何定位系统瓶颈是否在数据库上 通过Processlist来判断 执行以下语句，显示 PolarDB-X 上所有正在执行的SQL语句。SHOW PROCESSLIST WHERE INFO IS NOT NULL 一般情况下，语句堆积会...
PolarDB MySQL版8.0版本内核参数发布日志
2023.10.17 类型 参数 级别 说明 新增 loose_xengine_parallel_scan_enabled Global 是否允许对X-Engine中的表使用并行查询功能。取值范围如下：ON（默认）：允许对X-Engine中的表使用并行查询功能。OFF：不允许对X-Engine中的表使用并行...
PolarDB MySQL版DDL操作指南
此外，若您的表中存在列存索引，由于加列操作需要重建列存索引，因此，不支持对含有列存索引的表执行秒级加列操作。您可以将参数 loose_imci_enable_add_column_instant_ddl 的值设置为 ON 来开启秒级加列功能，此时，PolarDB 会在后台异步...
CREATE TABLE AS SELECT（CTAS）
IF NOT EXISTS 判断 table_name 指定的表是否存在，若存在，则不执行建表语句。IGNORE 可选参数，若表中已有相同主键的记录，新记录不会被写入。REPLACE 可选参数，若表中已有相同主键的记录，新记录将替换已有相同主键的记录。示例 本示例...
手工表概述
将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL导入和从表引入方式修改表数据。表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：...
手工表概述
将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL导入和从表引入方式修改表数据。表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：...
获取MQTT客户端在线状态
} }/*根据状态表判断一个clientId是否有活跃的TCP连接。1.如果没有channel表，则一定不在线。2.如果channel表非空，检查一下channel数据中是否仅包含上线事件，如果有则代表有活跃连接在线。如果全部的channel都有掉线断开事件则一定是不...
新建及管理质量规则模板
说明 码表参照表 是判断某个字段是否在码表中，需要选择一个对比的字段。例如判断用户详情表里的用户ID是否都是注册用户。码表过滤条件：设置分区表的过滤条件，对数据进行过滤。字段格式校验：内容识别形式：可选择 识别表达式、正则表达...
新建及管理质量规则模板
说明 码表参照表 是判断某个字段是否在码表中，需要选择一个对比的字段。例如判断用户详情表里的用户ID是否都是注册用户。码表过滤条件：设置分区表的过滤条件，对数据进行过滤。字段格式校验：内容识别形式：可选择 识别表达式、正则表达...
质量规则参数配置
稳定性 统计值（1天波动率、7天波动率、30天波动率）与1天、7天、30天前采集的表行数进行比较，对比波动率，再与设定的阈值进行比较，只要有一个不符合规则，则触发报警。自定义SQL 异常行数/正常行数/异常率/正常率 正常行数：唯一值行数...
质量规则参数配置
稳定性 统计值（1天波动率、7天波动率、30天波动率）与1天、7天、30天前采集的表行数进行比较，对比波动率，再与设定的阈值进行比较，只要有一个不符合规则，则触发报警。自定义SQL 异常行数/正常行数/异常率/正常率 正常行数：唯一值行数...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标...
判断文件是否存在
本文介绍如何判断文件是否存在。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以...
新建工作流
方法和上述添加检查域名的操作类似。滚动到可视化编辑器的底部，在最下方单击 新步骤 按钮，选择 控制流 连接器，再选择 If（条件判断）操作。6.该连接器不需要身份验证。接下来我们完善条件判断里的逻辑。经过阅读 CheckDomain 文档，该...
流程控制
流程控制内的逻辑节点包括 条件判断、定时器、序列执行、多路判断 和 websocket。本文介绍在蓝图编辑器中，配置流程控制类节点的方法。条件判断 条件判断 节点属于If-Else判断条件节点。当满足设定条件时，抛出 满足 事件，不满足设定条件...
后端服务调不通
需要强调，API网关访问外部的出口IP不能保证不会变动，通过设置安全组来判断请求来源的方法可能会由于API网关出口IP变化而导致API网关访问后端服务失败，因此我们不建议使用安全组方法。API网关提供了完整的后端签名验证的方式来做身份认证...
UDT概述
例如 java.util.Arrays.asList(new java.math.BigInteger('1'))，编译器可以根据参数类型判断出该方法的返回值是 java.util.List类型。说明 构造函数需要指定类型参数，否则需要使用 java.lang.Object，这点和Java保持一致。new java.util....
配置匹配规则
说明 数据传输仅在保存或启动数据迁移/数据同步项目时，根据已有的库表是否存在汇聚场景进行判断。如果在项目运行过程中新出现库表汇聚的场景，则不会被数据传输拦截，可能出现反向增量无法正确识别库表映射关系，导致数据质量问题。数据...
表
操作 说明 基本操作 列出项目空间下的所有表、判断表是否存在、获取表等基本操作。创建表的Schema 使用PyODPS创建表的Schema。创建表 使用PyODPS创建表。同步表更新 使用PyODPS同步表更新。写入表数据 使用PyODPS向表中写入数据。向表中...
- 产品推荐
- 这些文档可能帮助您