管理定时SQL任务
您可以在定时SQL的管理页面进行查看定时SQL任务基础信息、查看执行实例、重试、修改或删除定时SQL任务等操作。前提条件 已创建定时SQL任务。具体操作，请参见 从Logstore到Logstore、从Logstore到MetricStore 或 从MetricStore到...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
内建函数概述
LEAD 取当前行往后（朝分区尾部方向）第N行数据的值。FIRST_VALUE 取当前行所对应窗口的第一条数据的值。LAST_VALUE 取当前行所对应窗口的最后一条数据的值。NTH_VALUE 取当前行所对应窗口的第N条数据的值。CLUSTER_SAMPLE 用户随机抽样。...
使用SSMS和BCP迁移SQL Server数据库
除了DTS，您也可以使用其他工具迁移数据库，本文以本地SQL Server数据库到阿里云云数据库SQL Server 2012的数据全量迁移为例，介绍了如何通过使用SQL Server Management Studio（SSMS）和大容量复制程序实用工具（BCP）来迁移SQL Server...
公告
2024年02月29日-MaxCompute SQL反向访问VPC方案下线公告 尊敬的MaxCompute用户：MaxCompute将于北京时间 2024年03月31日 下线SQL反向访问VPC方案，需要您配合将原有MaxCompute SQL反向访问VPC的设置升级为专线直连（Network_Link）方案。...
2023年
PARSE JSON_FORMAT JSON_TYPE JSON_PRETTY JSON_EXTRACT JSON_ARRAY JSON_OBJECT JSON_EXISTS 2023-06-29 新增MaxCompute JSON类型使用指南（试用Beta版本）新说明 MaxCompute当前支持了JSON数据类型，提高了表中带有JSON类型数据的计算和...
数据类型转换
MaxCompute SQL允许数据类型之间的转换，类型转换方式包括显式类型转换和隐式类型转换。显式类型转换 显式类型转换是通过 CAST 函数将一种数据类型的值转换为另一种类型的值，在MaxCompute SQL中支持的显式类型转换，如下表所示。关于CAST...
物化视图自动查询改写
WHERE子句 当查询SQL的WHERE子句与物化视图SQL不完全相同时，自动查询改写对WHERE子句支持情况如下：当查询SQL和物化视图SQL的WHERE都是由AND连接多个条件时：支持查询SQL的WHERE的多个条件的顺序与物化视图SQL的不同，示例如下：物化视图...
MaxCompute数据开发规范
本文为您介绍MaxCompute数据开发规范，包括项目空间、表、视图、工作流节点和编码规范。在进行数据开发前，请做好数据仓库研发流程的阶段规划，了解各种角色及其职责，具体内容请参见 数据仓库研发规范概述。项目空间管理规范 关于项目划分...
列存索引如何实现高效数据过滤
和其他任何索引一样，统计信息剪枝不一定有效果，但存在一定的计算与内存开销，对于Bloom filter还存在一定的IO开销，此时可以查询时关闭pruner。性能测试 本小节测试了PolarDB HTAP的粗糙索引和位图索引的性能，粗糙索引主要覆盖了min/max...
2022年
2022-03-01 全部地域 创建OSS外部表 MaxCompute兼容开源Spark的计算服务全新支持3.1版本 MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后，全新支持Spark 3.1版本。2022-03-01 全部地域 搭建Linux开发环境 2022-2 功能名称 功能...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
PyODPS概述
t.open_writer()as writer:writer.write(out)单机处理数据的思维，逐行读取数据，然后逐行处理数据，再逐行写入目标表。整个流程中，下载上传数据消耗了大量的时间，并且在执行脚本的机器上需要很大的内存处理所有的数据，特别是对于使用...
数据集常见问题
目前Quick BI是不支持直接计算占比的，您可以通过参数SQL创建数据集，实现占比的计算。假设目前数据表结构为：日期（date）、省份（province）、城市（city）、销售额（order_amt）。您需要1、按城市维度汇总，计算占所属省份销售额的比值...
调优集群性能
您可以通过 一键诊断 功能来定位存在问题的查询：Bad SQL检测结果中，高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL，都可能导致集群的CPU使用率增高，需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...
PyODPS常见问题
使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，...
Python SDK常见问题
使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，...
如何对JSON类型进行高效分析
方案 业务系统采用JSON类型主要由于半结构化数据的灵活性和高效分析的需求，因此，灵活性与高性能就成为衡量海量半结构化数据分析的解决方案好坏的关键指标。传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
RDS SQL Server实例间数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS SQL Server实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据...
核心自治技术案例解析
外置式SQL自动优化 按照经验，约80%的数据库性能问题可通过SQL优化手段解决，但SQL优化一直以来都是一个非常复杂的过程，需要多方面的数据库领域专家知识和经验，另外，由于SQL工作负载不断变化，SQL优化还是一项非常耗时繁重的任务，这些...
自建SQL Server迁移至RDS SQL Server
数据迁移流程 为解决对象间的依赖，提高迁移成功率，DTS对SQL Server结构和数据的迁移流程如下：执行表、视图、同义词、自定义类型、rule、default和plan guide的结构迁移。执行全量数据迁移。执行SQL存储过程、SQL函数、触发器和外键的...
RDS SQL Server实例间的迁移
数据传输服务DTS（Data Transmission Service）支持RDS SQL Server实例间的迁移。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。创建方式，请参见 创建RDS SQL Server实例。重要 若源RDS SQL Server为...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
2021年
【通知】实例备份恢复支持跨可用区以及变更实例系列 数据恢复 计算节点垂直降配 当您在业务高峰时升级了实例内的计算节点规格，但是业务空闲时却无法对计算节点规格进行降配，从而导致成本浪费。针对上述场景 AnalyticDB PostgreSQL版 全新...
文档更新动态（2022年之前）
通用功能 设置Dataphin实例的计算引擎 2020-04-09 计算源 功能拓展 计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。通用功能 计算源 2020-04-09 业务板块 功能拓展 创建业务板块时，支持设定板块管理员，帮助您...
使用执行计划分析查询
AnalyticDB MySQL版 的SQL诊断功能支持以树形图的形式展现SQL查询的执行计划。执行计划树分为两层：第一层是Stage层，第二层是算子（Operator）层。本文介绍如何使用Stage层和算子层执行计划树来分析查询。Stage层执行计划树 Stage层执行...
2022年
分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。合并小文件 2022年11月更新记录 时间 特性 类别 描述 产品文档 ...
列存索引（IMCI）发布说明
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
MyBase SQL Server迁移至RDS SQL Server
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将MyBase SQL Server迁移至 RDS SQL Server。前提条件 已创建目标 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。创建方式，请参见 创建RDS SQL Server实例。重要 ...
基本概念
同时支持以可视化画布的形态编排建模流程，一个流程中可包含一个或多个组件，组件间以连线的方式表示数据的传递关系。节点 节点的全称为隐私计算节点，是一台计算机、一台虚拟计算机或一个集群，计算方将多方安全计算协议或算法逻辑的软件...
自建SQL Server迁移至AnalyticDB for PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 该迁移任务仅支持在新版控制台配置。自建SQL Server数据库支持...
概述
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
高性能Flink SQL优化技巧
本文将从作业配置和Flink SQL优化两方面为您介绍如何提升Flink SQL作业性能。作业配置优化推荐方案 资源优化技巧 VVP中限制了JobManager和TaskManager的CPU的实际使用大小，配置了多少个CPU，最大就只能使用多少个CPU。因此在资源优化时，...
表值函数
表值函数是一个可以在 SELECT.FROM 子句后调用的函数，返回的是一个集合类型，后续可以通过 TABLE 子句转换为可以在SQL语句中处理的行/列数据。适用场景 表值函数适用于以下场景，可以很大程度简化操作：合并特定会话中的数据表。例如，在...
功能特性
PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群，同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...
聚合优化和执行
基本概念 聚合操作（Aggregate，简称Agg）表示按照GROUP BY指定列对输入数据进行聚合的计算，或者不分组对所有数据进行聚合的计算。PolarDB-X 支持以下聚合函数：COUNT SUM AVG MAX MIN BIT_OR BIT_XOR GROUP_CONCAT 本文介绍均为不下推的...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 的数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以...
质量规则参数配置
关联方式：会影响数据结果的总行数、正常行数、异常行数的计算，可以通过预览SQL查看具体逻辑。支持left join、right join、inner join、full join四种关联方式。left join：以校验表为准，计算总行数、正常行数等指标。right join：以对比...
- 产品推荐
- 这些文档可能帮助您