窗口函数
窗口函数基于查询结果的行数据进行计算。窗口函数运行在 HAVING 子句之后，ORDER BY 子句之前。触发一个窗口函数需要特殊的关键字 OVER 子句来指定窗口。一个窗口包含三个组成部分：分区规范，用于将输入行分裂到不同的分区中。这个过程和 ...
2023年
Spark Connector 2023-10-27 新增数据科学计算概述 新说明 MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合...
应用场景
通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算
多行数据合并为一行数据
本文为您介绍，如何使用SQL实现多行数据合并为一行数据。示例数据 class gender name 1 M LiLei 1 F HanMM 1 M Jim 1 F HanMM 2 F Kate 2 M Peter 使用示例 示例1：将 class 相同的 name 合并为一行，并对 name 去重。去重操作可通过嵌套子...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
Serverless 计费
这意味着如果Scan带Filter的操作在服务器上扫描了100行数据，返回了1行数据，计算CU使用的是这100行数据。CU计量示例 在某一秒内发生了10次单行读操作。其中5次读操作（每次操作读出当行数据大小为3.78 KB），读出的数据大小为（3.78 KB按4...
行级管控
数据管理DMS行级管控可实现所有已接入DMS的非NoSQL数据库类型的统一行级权限管控，可以解决不同人员只允许访问不同数据行的问题。例如，销售经理只能查看本人所负责地域的数据，不能查看全部地域数据。前提条件 实例的管控模式为安全协同。...
步骤三：创建隐私计算任务并执行
本文整体介绍，如何快速创建DataTrust隐私计算任务，进行隐私计算 一、DataTrust隐私计算能力列表 DataTrust当前具备：四大隐私计算通用能力、三大隐私计算定制能力 功能类型 功能名称 功能描述 通用能力 ID安全匹配 TrustDA/PSI 在不泄漏...
Paimon概述
您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析。目前Apache Paimon提供以下核心能力：基于HDFS或者对象存储构建低成本的轻量级数据湖存储服务。支持在流模式与批模式下...
产品优势
通过资源组分时弹性和按需弹性，在数据分析和数据处理之间实现计算资源倾斜，提高资源利用率，降低资源成本。湖仓版（3.0）支持体验一体化。通过统一 计费单位、统一元数据和 权限、统一开发语言、统一传输链路，提升开发效率。Serverless ...
PyODPS概述
常见的需求，比如需要对每一行数据处理然后写回表，或者一行数据要拆成多行，都可以通过PyODPS DataFrame中的 map 或者 apply 实现，有些甚至只需要一行代码，足够高效与简洁，案例可参见 使用自定义函数及Python第三方库。使用这些接口...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
数据同步方案概览
云原生关系型数据库PolarDB 提供了多种数据同步方案，可满足不同的业务同步需求，使您可以在不影响业务的情况下平滑的实现引擎间的数据同步。通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档...
调优集群性能
如下图所示，某张表是根据a字段进行分布，因为a字段本身比较均匀，所以数据均匀地分布在不同的存储节点上，当您使用了b字段进行分组（group by b），那么存储节点1会将b字段值为b1的数据行分发到计算节点1，为确保计算节点1具有所有b字段值...
内存型
Tair实例双向同步 通过 数据传输服务DTS（Data Transmission Service）实现 Tair 实例间的双向数据同步，可应用于异地多活、数据容灾等多种场景。常见问题 Q：客户端不支持新模块的命令怎么办？A：您可以先在应用代码中定义需要使用的新...
2023年
什么是DTS专属集群 2023年07月 类型 重点内容 相关文档 新增 新增支持数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而实现对更多数据源类型的支持。数据投递 优化 配置 PolarDB PostgreSQL版...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
什么是数据库存储DBFS
存储计算分离：自建数据库实现存储计算分离，获得优于单纯基于云盘架构的性能、易用性、容量弹性及成本节省等。MySQL数据库：关闭Double Writer Buffer。在线扩容 支持业务友好的在线扩充存储容量。用户不需要单独购买，默认支持。存储容量...
概述
对于Pandas自定义函数，输入数据的类型是Pandas中定义的数据结构，例如pandas.Series和pandas.DataFrame等，您可以在Pandas自定义函数中使用Pandas和Numpy等高性能的Python库，开发出高性能的Python自定义函数，详情请参见 Vectorized User...
数据集常见问题
数据集关联问题 不同数据库间如何实现表关联？如何将数据集复制到其他工作空间？如何将两个数据源中的数据应用于同一个交叉表中？如何实现多表关联分析？如何通过参数SQL实现占比的灵活运算？目前Quick BI是不支持直接计算占比的，您可以...
基本概念
节点均被部署在机构本地，通过节点实现机构原始数据连接及本地计算。脚本文件 脚本文件是在联邦建模控制台或多方安全分析控制台中，用户编写建模代码的环境。不同控制台支持的语法不同：联邦建模控制台支持用户使用 Python 语法定义模型，...
实验介绍
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
2021年
功能描述 相关文档 Serverless版本 AnalyticDB PostgreSQL版Serverless版本 利用云基础设施提供的资源池化和海量存储能力，结合传统MPP数据库技术、离在线一体化技术和Serverless技术，实现了计算存储分离、秒级扩缩容和多实例数据实时共享...
功能特性
表存储格式：列存、行存、行列共存 数据分层存储 数据湖等外表存储 可直接访问存储MaxCompute、OSS上的数据，实现离线数据加速，数据湖数据加速，包含：OSS存储、MaxCompute存储。OSS数据湖加速 通过创建外部表加速查询MaxCompute数据 开发...
PolarDB Serverless实现了哪些突破
简而言之，第一代云原生数据库无法实现计算和内存资源解耦，导致目前云原生数据库价格依然高于RDS和自建数据库，这也是其无法占据大部分市场的核心原因。实现新架构的突破 随着 PolarDB Serverless新架构的率先提出，原生数据库的困境出现...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
RDS搭配大数据计算服务实现大规模数据计算
本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的...通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，如下图所示。
PyODPS常见问题
如果用户要计算的表保存在数据库，需要根据配置来对表的字段进行处理，然后对所有表进行UNION或者JOIN操作。这时如果用SQL实现是相当复杂的，但是用DataFrame处理则会非常简单。例如，您有30张表需要合成一张表，此时如果使用SQL，则需要对...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
Python SDK常见问题
如果用户要计算的表保存在数据库，需要根据配置来对表的字段进行处理，然后对所有表进行UNION或者JOIN操作。这时如果用SQL实现是相当复杂的，但是用DataFrame处理则会非常简单。例如，您有30张表需要合成一张表，此时如果使用SQL，则需要对...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
什么是PolarDB MySQL企业版
PolarDB MySQL版 是阿里巴巴自研的云原生HTAP数据库。PolarDB MySQL版 100%兼容原生MySQL的多个版本，包括MySQL 5.6、MySQL 5.7和MySQL 8.0。PolarDB MySQL版 的企业版基于云原生架构、计算存储分离、软硬件一体化设计，为用户提供具备超高...
术语表
狭义的UDF指用户自定义标量函数（User Defined Scalar Function），它的输入与输出是一对一的关系，即读入一行数据，写出一条输出值。UDAF User Defined Aggregation Function，自定义聚合函数。它的输入与输出是多对一的关系，即将多条...
数据迁移和同步方案概览
云数据库MongoDB提供了多种数据迁移和同步方案，可满足不同业务场景下MongoDB数据库的数据迁移和同步需求。影响 如果实例的数据库小版本过期或不在维护列表内，当执行以下操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库...
OVER窗口
在实时计算的底层实现中，OVER窗口的数据进行全局统一管理（数据只存储1份），逻辑上为每1个元素维护1个OVER窗口，为每1个元素进行窗口计算，完成计算后会清除过期的数据。详情请参见 Over Aggregation。语法 SELECT agg1(col1)OVER...
快速体验
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
RDS术语
集群系列 RDS SQL Server 2017支持集群系列，基于SQL Server源生AlwaysOn技术，实现计算与存储分离，并且可以购买只读实例实现读写分离。集群系列可申请只读连接地址实现业务读写分离，同时每个只读实例默认也有独立的内网连接，以便单独...
内建函数概述
函数类型 说明 日期函数 支持处理DATE、DATETIME、TIMESTAMP等日期类型数据，实现加减日期、计算日期差值、提取日期字段、获取当前时间、转换日期格式等业务处理能力。数学函数 支持处理BIGINT、DOUBLE、DECIMAL、FLOAT等数值类型数据，...
功能特性
数仓版资源组 湖仓版资源组 资源弹性扩容 AnalyticDB for MySQL支持通过资源弹性计划实现计算资源和存储资源分时弹性。创建资源弹性计划后会在系统负载过高时自动执行扩容操作，保障业务的稳定性。资源弹性计划 数仓版资源弹性计划API 湖仓...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
- 产品推荐
- 这些文档可能帮助您