Slowly Changing Dimension
重要 查询数据时，可以使用正常的SQL语法。查询数据时，必须指定gscdColumn字段作为查询条件，并且必须为=表达式，例如 dt='2021-01-01'。执行以下命令，查询第二次批量写入的数据。select id,body from target where dt='2021-01-02';如果...
消息队列Kafka
类别 详情 支持类型 源表和结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro Debezium JSON Canal JSON Maxwell JSON Raw 说明 以上支持的数据格式都有其对应的配置项，可直接在WITH参数中使用，详情请参见 Flink社区...
Upsert Kafka
本文为您介绍如何使用Upsert Kafka连接器。背景信息 Upsert Kafka连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka topic。作为源表，此连接器可以将Kafka中存储的数据转换为changelog流，其中每条数据记录代表一个更新或...
数据同步
另外，这种方法一般不能处理DELETE的数据，实际上用删除原表重新写入的方式支持了DELETE，但是相当于每次都重新写一次全量表，性能不可取，还需要有一个特殊字段来标记数据是否属于增量更新数据。上游源表输出binlog（这里我们指广义的...
Presto FAQ
本文汇总了使用DLA Presto的常见问题及解决方案。高频问题 在哪些情况下，共享集群（Public）不计费？共享集群（Public）的算力是多大？在控制台执行SELECT语句为什么会有Limit 500的限制？能够突破这个限制吗？阿里云子账号可以在哪里执行...
权限问题
本文为您介绍权限问题导致任务不能正常执行的报错信息及解决方法。Project Owner常见赋权脚本如下：方法1:直接赋权 use project_xxx;使用某project，开发环境带_dev后缀 grant CreateResource to user_xxx@aliyun.com;阿里云子账号-方法2：...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
V5.1.x系列实例版本说明
修复若干 PolarDB-X 1.0 后端连接池的一些连接泄漏问题和部分连接异常场景下不能自动恢复的问题。修复超长HINT报数组越界的问题。修复建表时TIMESTAMP类型的列指定为NULL DEFAULT NULL导致无法建表的问题。修正部分错误码的英文翻译。修复...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
使用须知
问题与解决方法 使用云数据库HBase的SQL功能（Phoenix）的过程中可能会遇到以下问题，为您提供解决以下问题的方法。meta可能存在不同步。问题描述：在同一时间多个连接访问Phoenix的场景下，一个连接进行DDL操作后（例如创建表，删除表，...
ACVIP 问题排查
ACVIP 部署问题 前置条件 解决 ACVIP 部署问题时，请先按照以下内容确认您的环境：数据库时间和 ACVIP 机器时间需要一致，否则无法部署完成。查看机器时间 命令如下：date-R 查看数据库时间 获取 DB 连接。env|grep data 连接数据库。mysql...
权限管理常见问题
与项目所有者相比，Admin角色不能执行如下操作：Admin角色不能将Admin权限指派给用户。不能设定项目的安全配置。不能修改项目的鉴权模型。Admin角色所对应的权限不能被修改。RAM用户无法访问DataWorks，提示缺少AccessKey ID，但实际有...
连接池
会话级连接池也不能解决由于存在大量慢SQL，导致的连接堆积问题，此类问题的核心是先解决慢SQL问题。事务级连接池 工作原理 事务级连接池主要用于减少直接连接到数据库的业务连接数，以及减少短连接场景下频繁建连带来的负载。开启事务级...
设置连接池类型
会话级连接池不能解决由于存在大量慢SQL，导致的连接堆积问题，您需要先解决慢SQL问题。注意事项 请勿给同一个数据库账号在不同IP下设置不同的权限，这可能会导致连接复用时权限出错。例如user@192.168.XX.XX设置了database_a的权限，而...
EMR Kafka磁盘写满运维
本文以EMR Kafka 2.4.1版本为例，介绍Kafka磁盘写满时的运维操作。业务场景 Kafka将日志数据存储到磁盘中，当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性与容错能力，...
Blink和Flink常见问题及诊断
本文为您介绍使用Hologres过程中关于Blink和Flink的常见问题。基本概念 Hologres性能 写入性能 列存表：InsertOrIgnore>InsertOrReplace>InsertOrUpdate 行存表：InsertOrReplcae=InsertOrUpdate>InsertOrIgnore 参数 说明 InsertOrIgnore ...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
二级索引
select rowkey from dt where c2='b' and c4='d'表示选择索引表idx2，从中查找所有满足c2=b条件的行，然后逐行按c4=d进行过滤。虽然c4是索引列之一，但因WHERE条件中缺少c3列，无法匹配idx2的前缀。select*from dt where c2='b' and c3>='c...
测试分析及调优
例如，JVM参数不合理，容器配置不合理，慢SQL（可使用阿里云APM类产品如ARMS协助定位），数据库设计不合理，程序架构规划不合理，程序本身设计有问题（串行处理、请求的处理线程不够、无缓冲、无缓存、生产者和消费者不协调等），造成系统...
Tunnel命令常见问题
您可以在Tunnel Upload命令中使用-dbr true 参数忽略脏数据（多列、少列及列数据类型不匹配等情况）。dbr 参数默认值为False，表示不忽视脏数据；当值为True时，会将不符合表定义的数据全部忽略。详情请参见 Upload。使用Tunnel Upload命令...
常见问题
在极少数情况下，开启send_progress_in_http_headers仍不能解决问题的，您可以尝试配置jdbc客户端所在ECS机器的安全组白名单，把ClickHouse服务端地址加入到白名单中。TCP协议 TCP协议最常使用的场景是ClickHouse自带的命令行工具进行交互...
Oracle数据源
支持 不支持 STRUCT 支持 支持 不支持 User-Defined Types 不支持 不支持 不支持 AnyType 不支持 不支持 不支持 AnyData 不支持 不支持 不支持 AnyDataSet 不支持 不支持 不支持 XmlType 不支持 不支持 不支持 Spatial Types 不支持 不支持...
RDS SQL Server云数据库的磁盘空间被占满
解决方案 在云数据库RDS SQL Server版中，删除数据后的空间会被重新使用，因此如果磁盘空间使用率不高时，可以选择不回收文件。但当磁盘空间被占满，影响业务正常运行，则需要回收文件，一般先选择回收日志文件，因为回收日志文件的速度快...
表引擎
VersionedCollapsingMergeTree 在建表语句中新增 Version 列，用于解决CollapsingMergeTree表引擎乱序写入导致无法正常折叠（删除）的问题。SummingMergeTree 用于对主键列进行预先聚合，将所有相同主键的行合并为一行，从而大幅度降低存储...
锁以及排查锁
不涉及 不涉及 说明 执行 SELECT 命令时除了不能执行 DROP 命令，其他操作都可以做。INSERT（包含INSERT ON CONFLICT）说明 INSERT 命令与 CREATE INDEX、DDL冲突。Hologres V2.0及以前版本的Bulkload方式会获取表数据锁。Hologres V2.1...
DAO 存储
普通 KV 存储只能存储简单数据类型或封装好的 OC 对象，且不支持搜索。当业务有 sqlite 访问需求时，可由统一存储的 DAO 功能进行简化和封装。基本工作原理如下：定义一个 xml 格式的配置文件，描述各 sqlite 操作的函数、返回的数据类型、...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的PyODPS 2节点上直接编辑Python代码，操作MaxCompute。前提条件 已创建PyODPS 2节点，详情...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
表表达式
num|name|num|value-+-+-+-1|a|1|xxx 1|a|3|yyy 1|a|5|zzz 2|b|1|xxx 2|b|3|yyy 2|b|5|zzz 3|c|1|xxx 3|c|3|yyy 3|c|5|zzz(9 rows)=>SELECT*FROM t1 INNER JOIN t2 ON t1.num=t2.num;num|name|num|value-+-+-+-1|a|1|xxx 3|c|3|yyy(2 rows)...
表表达式
num|name|num|value-+-+-+-1|a|1|xxx 1|a|3|yyy 1|a|5|zzz 2|b|1|xxx 2|b|3|yyy 2|b|5|zzz 3|c|1|xxx 3|c|3|yyy 3|c|5|zzz(9 rows)=>SELECT*FROM t1 INNER JOIN t2 ON t1.num=t2.num;num|name|num|value-+-+-+-1|a|1|xxx 3|c|3|yyy(2 rows)...
关键缺陷通知
您可以通过报错或问题描述，检查您当前的业务中是否产生了相关问题，提前进行问题规避。建议加入实时数仓Hologres交流群联系对应技术支持协助您将产品升级到最新版本，详情请参见 如何获取更多的在线支持？背景信息 缺陷及修复说明 缺陷...
流式入库
Kudu也支持流式入库，但是Kudu的存储是自己设计的，不属于基于大数据存储系统之上的解决方案。本文以Kafka数据源为例介绍，其余数据源根据控制台提示操作即可。流式入库演变 阶段 详细情况 以前 以前针对流式入库的需求，通常都是自己动手...
SELECT语法
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用DataWorks连接 MaxCompute Studio 功能介绍 select 语句用于从表中选取满足指定条件的数据。您可以根据实际场景结合以下功能完成多样化的查询操作。类型 功能...
SELECT语法
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 SELECT 语句用于从表中选取满足指定条件的数据。您可以根据实际场景结合以下功能...
UDTF概述
在 select 语句中使用UDTF时，不允许存在其他列或表达式。错误示例如下。查询语句中同时携带了UDTF和其他列。select value,user_udtf(key)as mycol.UDTF不能嵌套使用。错误示例如下。user_udtf1嵌套了user_udtf2，不允许嵌套。select user_...
通配符列
在Lindorm宽表引擎中使用通配符列，可以满足多数据类型动态写入的需求。本文介绍通配符列的使用限制及使用方法。背景信息 在大数据量的场景下，传统SQL通常无法满足业务需求。例如车联网场景，数据通常有几百甚至上千个列，且这些列多数...
与标准SQL的主要区别及解决方法
MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新执行。推荐您使用INSERT OVERWRITE写数据。不支持索引和主键约束。...
CREATE POLICY
为了解决这些问题，应该仔细地制作策略以完全阻止用户插入、删除或者更新那些可能指示他们不能看到的值的记录，或者使用生成的值（例如代理键）来代替具有外部含义的键。通常，系统将在应用用户查询中出现的条件之前先强制由安全性策略施加...
只用索引的扫描和覆盖索引
本数据库中的所有索引是 二级 索引,这意味着每个索引都是与表的主数据区（在本数据库术语称为表的 堆 中）分开存储。这意味着在普通索引扫描中，每行检索都需要从索引和堆中取数据。此外，虽然匹配给定的可索引 WHERE 条件的索引条目通常在...
行安全性策略
上面的策略隐含地提供了一个与其该约束适用于被一个命令选择的行（这样一个经理不能 SELECT、UPDATE 或者 DELETE 属于其他经理的已有行）以及被一个命令修改的行（这样属于其他经理的行不能通过 INSERT 或者 UPDATE 创建）。如果没有指定...
- 产品推荐
- 这些文档可能帮助您