公告
MaxCompute在使用SQL UDF和外部表场景下，提供了SQL反向访问VPC的设置方法，支持UDF和外部表访问VPC中的服务，这里分别介绍两种场景的设置升级方法。UDF场景 在执行包含UDF的SQL任务时，若您是通过以下参数指定UDF访问的VPC以及对应的IP...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
列存索引如何实现高效数据过滤
PolarDB IMCI属于列存表的模式，数据支持落盘，实现了更加多样化的方法来优化全表数据扫描。技术选型 特点 示例 列式HeapTable 写入无序（按时间插入顺序），更新速度快；全量scan速度快；不支持按order key进行小范围扫描。SQL Server和in...
数据倾斜调优
本文为您介绍使用MaxCompute过程中常见的数据倾斜场景以及对应的解决方案。MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题...
管理定时SQL任务
您可以在定时SQL的管理页面进行查看定时SQL任务基础信息、查看执行实例、重试、修改或删除定时SQL任务等操作。前提条件 已创建定时SQL任务。具体操作，请参见 从Logstore到Logstore、从Logstore到MetricStore 或 从MetricStore到...
调优集群性能
CPU平均使用率增高的常见原因如下：查询 查询导致的CPU使用率增高，可能是由于Bad SQL，例如SQL中包含了复杂的计算逻辑、处理大量的数据，或者JOIN没有JOIN条件，从而产生了笛卡尔积等。您可以通过 一键诊断 功能来定位存在问题的查询：Bad...
PyODPS常见问题
计算两点之间的距离有多种计算方法，例如欧氏距离、曼哈顿距离等，您可以定义一系列函数，在计算时根据具体情况调用相应的函数即可。def euclidean_distance(from_x,from_y,to_x,to_y):return((from_x-to_x)*2+(from_y-to_y)*2).sqrt()def ...
Python SDK常见问题
计算两点之间的距离有多种计算方法，例如欧氏距离、曼哈顿距离等，您可以定义一系列函数，在计算时根据具体情况调用相应的函数即可。def euclidean_distance(from_x,from_y,to_x,to_y):return((from_x-to_x)*2+(from_y-to_y)*2).sqrt()def ...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
使用执行计划分析查询
AnalyticDB MySQL版 的SQL诊断功能支持以树形图的形式展现SQL查询的执行计划。执行计划树分为两层：第一层是Stage层，第二层是算子（Operator）层。本文介绍如何使用Stage层和算子层执行计划树来分析查询。Stage层执行计划树 Stage层执行...
RDS SQL Server实例间数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS SQL Server实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据...
内建函数概述
MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。背景信息 使用MaxCompute内建函数过程中，需要注意的事项请参见 注意事项。MaxCompute预置的函数类型如下...
自建SQL Server迁移至RDS SQL Server
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS SQL Server实例间的迁移
数据传输服务DTS（Data Transmission Service）支持RDS SQL Server实例间的迁移。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。创建方式，请参见 创建RDS SQL Server实例。重要 若源RDS SQL Server为...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
功能特性
PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群，同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...
MyBase SQL Server迁移至RDS SQL Server
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
2022年
分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。合并小文件 2022年11月更新记录 时间 特性 类别 描述 产品文档 ...
列存索引（IMCI）发布说明
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
使用SSMS和BCP迁移SQL Server数据库
除了DTS，您也可以使用其他工具迁移数据库，本文以本地SQL Server数据库到阿里云云数据库SQL Server 2012的数据全量迁移为例，介绍了如何通过使用SQL Server Management Studio（SSMS）和大容量复制程序实用工具（BCP）来迁移SQL Server...
基本概念
数据授权 在项目使用机构数据前，由机构管理员将数据表、特征组等数据授权到项目内使用的操作称为数据授权。特征 用户离线样本的信息维度。特征服务 提供特征查询接口的服务，即特征服务。特征组 特征组包含特征列表和特征服务的配置信息，...
概述
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
自建SQL Server迁移至AnalyticDB for PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 该迁移任务仅支持在新版控制台配置。自建SQL Server数据库支持...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 的数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以...
高性能Flink SQL优化技巧
本文将从作业配置和Flink SQL优化两方面为您介绍如何提升Flink SQL作业性能。作业配置优化推荐方案 资源优化技巧 VVP中限制了JobManager和TaskManager的CPU的实际使用大小，配置了多少个CPU，最大就只能使用多少个CPU。因此在资源优化时，...
算子级别诊断结果
对于合理Join条件，一般Join的输出行数会小于输入行数，如果Join的输出行数大于输入行数，那么会存在Join数据膨胀的问题，Join数据膨胀会导致较多的计算资源和内存资源被占用，导致查询较慢。建议 如果是数据本身特征导致的Join数据膨胀，...
聚合优化和执行
基本概念 聚合操作（Aggregate，简称Agg）表示按照GROUP BY指定列对输入数据进行聚合的计算，或者不分组对所有数据进行聚合的计算。PolarDB-X 支持以下聚合函数：COUNT SUM AVG MAX MIN BIT_OR BIT_XOR GROUP_CONCAT 本文介绍均为不下推的...
查询诊断
AnalyticDB PostgreSQL版 查询分析功能可供您查看SQL执行计划以及对应统计信息，供您对查询进行分析和调优。本文介绍查询诊断功能的基本使用方法。前提条件 实例资源类型为存储弹性模式，且内核版本为V6.3.10.1及以上版本。如何查看和升级...
Java UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法@Resolve 注解示例如下。Resolve注解示例 说明@Resolve('bigint,...
Presto FAQ
为什么同一个SQL从HDFS同步数据到OSS，在DLA中查询是11万数据量，自建的集群查询是19万数据量？性能相关问题 如何解决查询报错：“Query exceeded distributed user memory limit of 2.00TB or Query exceeded per-node user memory limit ...
物化视图自动查询改写
WHERE子句 当查询SQL的WHERE子句与物化视图SQL不完全相同时，自动查询改写对WHERE子句支持情况如下：当查询SQL和物化视图SQL的WHERE都是由AND连接多个条件时：支持查询SQL的WHERE的多个条件的顺序与物化视图SQL的不同，示例如下：物化视图...
数据类型转换
MaxCompute SQL允许数据类型之间的转换，类型转换方式包括显式类型转换和隐式类型转换。显式类型转换 显式类型转换是通过 CAST 函数将一种数据类型的值转换为另一种类型的值，在MaxCompute SQL中支持的显式类型转换，如下表所示。关于CAST...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
MaxCompute数据开发规范
本文为您介绍MaxCompute数据开发规范，包括项目空间、表、视图、工作流节点和编码规范。在进行数据开发前，请做好数据仓库研发流程的阶段规划，了解各种角色及其职责，具体内容请参见 数据仓库研发规范概述。项目空间管理规范 关于项目划分...
基于MaxFrame实现分布式Pandas处理
MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据，通过MaxFrame，您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。前提条件 已安装MaxFrame...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
- 产品推荐
- 这些文档可能帮助您