对象存储OSS
pattern'='$dt$hour:00:00','sink.partition-commit.delay'='1 h','sink.partition-commit.trigger'='partition-time','sink.partition-commit.watermark-time-zone'='Asia/Shanghai',-假设用户配置的时区为 'Asia/Shanghai' 'sink....
参数列表说明
partition_table_scan_batch_count Partition Table 遍历时预读的副本数。sys_cpu_limit_trigger 当 CPU 利用率超过该阈值的时候，将暂停系统后台任务的执行。location_fetch_concurrency 位置缓存信息刷新的最大并发度。index_clog_cache_...
创建告警策略
告警监控规则触发告警后，日志服务会根据告警策略进一步处理告警信息，包括合并和静默告警。本文介绍创建告警策略的操作步骤。操作步骤 登录 日志服务控制台。进入告警策略管理页面。在Project列表区域，单击任意一个Project。在左侧导航栏...
从RDS同步至MaxCompute
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从通过专线、VPN网关或智能接入网关接入的自建MySQL...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
从RDS同步至MaxCompute
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的...
DENSE_RANK
计算排名。排名是连续的。使用限制 窗口函数的使用限制如下：窗口函数只能出现在 select 语句中。窗口函数中不能嵌套使用窗口函数和聚合函数。窗口函数不能和同级别的聚合函数一起使用。命令格式 bigint dense_rank()over([partition_...
CSV数据文件格式
本文介绍需要导入至图数据库GDB实例的CSV数据文件格式。背景信息 CSV数据文件遵循RFC 4180 CSV规范。更多信息，请参见 CSV文件的一般格式和MIME类型。重要 所有文件必须采用UTF-8格式编码。注意事项 必须将点和边分别放到单独的文件。说明 ...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
Tunnel常见错误码
本文为您介绍使用Tunnel过程中的常见错误码，帮助您了解错误码产生原因，并提供解决措施。Tunnel常见错误码如下：报错信息：ErrorCode=NoSuchPartition,ErrorMessage=The specified partition does not exist.报错信息：ErrorCode=...
LAST_VALUE
取当前行所对应窗口的最后一条数据的值。使用限制 窗口函数的使用限制如下：窗口函数只能出现在 select 语句中。窗口函数中不能嵌套使用窗口函数和聚合函数。窗口函数不能和同级别的聚合函数一起使用。命令格式 last_value([,])over(...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 使用MaxCompute内建函数过程中，需要注意的事项请参见 注意事项。MaxCompute预置的函数类型如下...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
从自建MySQL同步至阿里云消息队列Kafka版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
表表达式
然后，为 T1 中每一个无法在连接条件上匹配 T2 里任何一行的行返回一个连接行，该连接行中 T2 的列用空值补齐。因此，生成的连接表里为来自 T1 的每一行都至少包含一行。RIGHT OUTER JOIN 首先，执行一次内连接。然后，为 T2 中每一个无法...
INSERT
INSERT语句用于插入新的行数据至表中。本文为您介绍在交互式分析Hologres中如何使用INSERT插入数据。命令介绍 您可以插入一个或多个由表达式指定的行，以及插入来自一个查询的零行或多行数据至Hologres。语句如下。INSERT INTO<schema>.[(...
表表达式
然后，为 T1 中每一个无法在连接条件上匹配 T2 里任何一行的行返回一个连接行，该连接行中 T2 的列用空值补齐。因此，生成的连接表里为来自 T1 的每一行都至少包含一行。RIGHT OUTER JOIN 首先，执行一次内连接。然后，为 T2 中每一个无法...
名词解释
PRIMARY KEY PRIMARY KEY 主键，用于标识一行数据，可以唯一确定一行数据的分布位置，在Lindorm CQL中由partition key和cluster column，共同组成primary key。partition key PRIMARY KEY的组成部分 和cluster column共同组成primary key，...
合并小文件
分布式文件系统按块（Block）存放数据，文件大小比块大小（64MB）小的文件称为小文件。分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在...
AliSQL内核小版本发布记录
新增 全密态数据库 功能，实现全链路中数据加密，保护数据安全。Bug修复 修复半同步复制中，Binlog文件名比较错误导致的半同步复制失效问题。修复IPK导致的备份集兼容性问题 20240131 新特性 新增Statement Outline支持ps-protocol。Bug...
更新或删除数据（UPDATE|DELETE）
MaxCompute支持通过 delete、update 操作，在行级别删除或更新Transactional表中的数据。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 前提...
子查询解关联
利用Window function按照指定的分组方式分组计算聚合函数，在原有数据行上增加分组计算的聚合结果。对于TPC-H中的Q2，可以获取特定区域，指定类型和大小零件的供应商同时按照零件信息进行分组计算获得最小批发价。然后通过比较获取的数据行...
AUTO模式数据库与DRDS模式数据库
本文介绍了什么是AUTO模式数据库与DRDS模式数据库，以及这两者模式的区别。PolarDB-X数据库模式概述 从 PolarDB-X 5.4.13版本开始，新增支持AUTO模式的数据库（也称为自动分区数据库）。AUTO模式的数据库支持自动分区，即创建表时无需指定...
查询用户OSS或专属存储的归档数据
本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS 或 数据归档至专属存储 的用户，包含老用户和新用户。说明 老用户：数据归档查询功能未上线（上线时间：2022年09月14日）前，使用过...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
SparkSQL自适应执行
阿里云E-MapReduce 3.13.0及后续版本的SparkSQL支持自适应执行功能，可以用来解决Reduce个数的动态调整、数据倾斜和执行计划的动态优化问题。使用限制 本文针对SparkSQL自适应执行涉及到的参数适用于Spark 2.x。如果您使用的是Spark 3.x，...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
Logview诊断实践
解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，如果相同的数据都排布在一起，就可以获得很高的压缩率。写表的数据分布情况主要取决于写...
多可用区部署
云原生多模数据库 Lindorm 支持创建多可用区的实例。该方案将一个Lindorm实例部署在多个可用区，多可用区实例具备更高的容灾能力，同时Lindorm实例可以实现多个可用区之间数据的强一致，也可以在数据最终一致下发出请求返回最快的结果，...
深度解析PolarDB数据库并行查询技术
如何将查询并行起来 对于一个类OLAP的查询，它通常是对大批量数据的查询，数据量大意味着数据远大于数据库的内存容量，大部分数据可能无法缓存到数据库的缓冲区中，而必须在查询执行时才动态加载到缓冲区中，这样就会造成大量IO操作，而IO...
上下游存储
引用MaxCompute作为数据源，在作业启动后，向已有的分区或者表里追加数据，这些新数据是否能被全量MaxCompute或增量MaxCompute源表读取？全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点...
DML
使用GROUP BY选项，只能在 partition key 级别或 clustering column 级别对行进行分组。因此，GROUP BY选项仅按主键顺序接受主键列名称作为参数。如果主键列受到相等性限制的约束，则它不需要出现在GROUP BY子句中。说明 因为CQL的GROUP BY...
分区分桶
概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB 版 按分治思想对数据进行分割处理，将数据分散到分布式系统中进行处理。SelectDB中 所有的表引擎都支持如下两种的数据划分。一层：仅使用一层分区时。建表时不写分区语句即可...
跨境SaaS:深圳市易仓科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳市...
- 产品推荐
- 这些文档可能帮助您