新功能发布记录
无 Spark Distribution SQL Engine AnalyticDB for MySQL Spark提供Spark开源原生能力Distribution SQL Engine的托管服务，支持通过Spark Distribution SQL Engine开发Spark SQL作业...
其它操作
计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下的费用无法预估。说明 该信息不能作为实际计费标准，仅供参考，实际...
公告
在极小概率下，若影响了用户的作业并导致执行失败，请重新尝试执行作业。您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute开发者社区群（钉钉群号：11782920）联系我们。感谢您的配合！2024年02月23日-MaxCompute跨地域灾备...
写入与查询
您可以通过创建不同类型的资源组，将SQL作业提交到对应的资源组执行达到资源隔离的效果。如何处理IN条件过多的问题？AnalyticDB MySQL版 对于IN条件的个数有限制，IN条件个数默认为2000，您也可以根据需求进行调整。说明 IN条件的个数最大...
Hive SQL作业配置
在 新建作业 对话框中，输入 作业名称 和 作业描述，从 作业类型 下拉列表中选择 Hive SQL 作业类型。表示创建的作业是一个Hive SQL作业。这种类型的作业，实际是通过以下方式提交Hive SQL作业运行。hive-e {SQL CONTENT} 其中 SQL_CONTENT...
DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
查询加速（MCQA）
说明 查询作业回退为普通SQL作业后，按原SQL作业计费模式计费。产品架构 MCQA架构图如下所示。应用场景 MCQA功能的应用场景如下。场景 说明 场景特点 即席查询（Ad Hoc）您可以通过MCQA优化中小规模数据集（百GB规模内）的查询性能，直接对...
作业状态集管理
手动删除指定作业快照 设置State相关参数 设置流状态存储系统、SQL作业的State TTL和作业快照过程中产生的临时数据是否储存在本地磁盘等相关参数。设置State相关参数 手动创建作业快照 说明 仅 运行中 的作业支持手动创建作业快照。进入...
事务管理
先结束的作业执行成功。后结束的作业会报错。先结束的作业执行成功。后结束的作业会报错。先结束的作业执行成功。后结束的作业会报错。先结束的作业执行成功。后结束的作业会报错。INSERT INTO（先结束）先、后结束的作业都会执行成功。后...
Paimon与Flink集成
步骤三：流作业读写Paimon 执行以下Flink SQL语句，在Catalog中创建一张表，并读写表中的数据。设置为流作业。SET 'execution.runtime-mode'='streaming';Paimon在流作业中需要设置checkpoint。SET 'execution.checkpointing.interval'='10...
功能特性
添加安全组 透明数据加密 Lindorm支持透明数据加密TDE功能，可以对实例数据和操作日志全加密，保护数据在传输和存储过程中的安全性和隐私性。透明数据加密 审计日志 通过审计日志可以精准分析指定时间段的所有数据操作，同时可以按照指定...
查询改写与下推
背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上执行。可下推计算主要包括：JOIN连接。过滤条件（如 WHERE 或 HAVING）。计算（如 COUNT、GROUP BY）。排序（如 ORDER BY）。去重（如 DISTINCT）。函数...
管理存储过程
概述 在 OceanBase 开发者中心（OceanBase Developer Center，ODC）首页单击连接名进入连接后，在左导航栏中单击 存储过程 标签可查看存储过程列表，在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中，可查看...
Flink Table Store与Flink集成
步骤三：流作业读写Flink Table Store 执行以下Flink SQL语句，在Catalog中创建一张表，并读写表中的数据。设置为流作业。SET 'execution.runtime-mode'='streaming';Flink Table Store在流作业中需要设置checkpoint。SET 'execution....
2021年
同时，MERGE INTO任务具备原子性，任一内部逻辑处理失败，则整体作业执行失败，避免同一批操作部分逻辑无法回退或重做的问题。您需要创建Transactional表才能使用UPDATE/DELETE/MERGE INTO功能。并且因为大数据系统保证任务级别的ACID，当...
在EMR集群运行TPC-DS Benchmark
A：Spark ThriftServer服务的默认内存不适合较大规模数据集测试，如果在测试过程中出现Spark SQL作业提交失败，原因可能是Spark ThriftServer出现OutOfMemory异常。针对这种情况的解决方法为调整Spark服务配置 spark_thrift_daemon_memory ...
SQL 计划任务
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）支持定时周期性执行用户创建的 SQL 脚本，以满足周期性执行用户所需的数据库开发和运维任务，例如周期性执行存储过程、备份和做库表结构同步等。用户在 工单 创建 SQL ...
存储过程
存储过程（SQL stored procedures），通常指数据库中存放在一起的一系列SQL。您在使用存储过程时，可以指定存储过程的名字并使用参数（parameters），并在合适的时候调用存储过程实现相同或者不同的业务。本文将介绍存储过程的使用方法。...
2023年
GetRunningJobs-获取运行态的作业列表 2023-08-24 新增GetJobResourceUsage-获得作业执行者级别的资源使用列表 新说明 指定时间范围内，针对已结束的全部作业进行统计，以“天”为级别展示作业执行者级别的资源使用总量。...
从ECS上的自建SQL Server同步至云原生数据仓库...
功能限制 不支持assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数的结构同步。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、...
从ECS上的自建SQL Server同步至云原生数据仓库...
功能限制 不支持assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数的结构同步。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、...
作业开发入门概述
AnalyticDB MySQL 湖仓版（3.0）提供Spark引擎和 AnalyticDB MySQL XIHE引擎，...Spark SQL作业开发流程如下。具体操作，请参见 使用Spark SQL进行作业开发。XIHE BSP SQL作业开发流程如下。具体操作，请参见 使用XIHE BSP SQL进行作业开发。
查询改写与下推
背景信息 根据 PolarDB-X 1.0 的SQL语句优化的基本原则，可以下推尽量更多的计算到存储层MySQL上执行。可下推计算主要包括：JOIN连接 过滤条件（如 WHERE 或 HAVING 中的条件）计算（如 COUNT、GROUP BY）排序（如 ORDER BY）去重（如 ...
自建SQL Server同步至PolarDB MySQL版
说明 本场景为异构数据库间同步，因此同步对象选择的粒度为表，且其他对象（如视图、触发器、存储过程）不会被同步至目标库。已选择对象 如需更改单个同步对象在目标实例中的名称，请右击 已选择对象 中的同步对象，设置方式，请参见 库表...
功能特性
计算引擎 功能集 功能 功能描述 参考文档 XIHE引擎 XIHE MPP执行模式 MPP计算过程采用pipeline流式计算，满足低延迟的交互式分析场景。XIHE BSP执行模式 BSP采用批计算架构，通过DAG进行任务切分，分批调度。BSP支持计算数据落盘，适用于...
新功能发布记录
SQL回放 会话与事务 新增 开启会话后，同一SQL Console页签下执行的所有SQL将在同一个Session中执行。开启会话与事务 10月 功能名称 变更类型 功能描述 相关文档 任务编排新增仪表盘推送节点 新增 仪表盘推送节点通过联动数据服务功能，可...
TOP Objects
自治服务提供TOP Objects查询功能，展示RDS用户实例中对象级别（存储过程、函数、触发器等）的性能问题。前提条件 实例不能是RDS SQL Server 2008 R2云盘版。操作步骤 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏...
使用Logview 2.0查看作业运行信息
SQLTask is finishing SQL作业执行结束。Online Job is cancelled by fuxi Service Mode 模式被取消。Task rerun 作业重跑，可能是 Service Mode 模式执行失败，采用离线模式，也可能是数据跨集群复制。Online Job Waiting for running ...
SQL洞察
SQL洞察信息说明 执行耗时分布：展示了选定时间范围内，所有SQL的执行耗时分布，将执行耗时分为了7个区间，每分钟计算一次，分别是：[0,1]ms 是指满足0ms≤执行耗时≤1ms SQL执行次数占比。（1,2]ms 是指1ms<执行耗时≤2ms SQL执行次数占比...
Notebook开发编辑器
thrift:/192.168.XX.XX:9083"} 重要 配置Notebook作业的启动参数将重启Notebook Kernel，重启过程预计等待3分钟，重启期间执行中的Notebook作业会失败。③状态栏 参数 说明 Notebook作业的保存状态，控制台将每隔5秒自动保存一次Notebook...
Spark SQL作业配置
在 新建作业 对话框中，输入 作业名称 和 作业描述，从 作业类型 下拉列表中选择 Spark SQL 作业类型。说明 Spark SQL提交作业的模式默认是Yarn-client模式。此类型的作业，实际是通过以下方式提交的Spark SQL作业运行。spark-sql[options]...
日志报表
1小时（相对）慢SQL（执行时间超过1s）的列表，包括：时间、客户端、时间、PolarDB-X 1.0 实例、数据库、表格、用户、影响行数、SQL类型、SQL文本 SQL模板执行时间Top 20 表格 1小时（相对）按照SQL模板统计该模板SQL的执行情况，包括：SQL...
删除数据库
说明 对于RDS SQL Server 2012及更高版本的 高可用 系列实例，如果您执行以上 drop 命令报错，请使用以下存储过程。该存储过程会删除指定的数据库，移除关联的镜像，并且KILL在该数据库上的连接。EXEC sp_rds_drop_database 'database name...
日志报表
高代价 SQL模板 SQL模板执行时间Top 20 表格 1小时（相对）按照高代价SQL模板统计该模板SQL的执行情况，包括：SQL模板ID 总体耗时比例 执行次数 平均执行时间（毫秒）平均影响行数 样例SQL 事务SQL 事务执行影响行数Top 20 表格 1小时...
使用说明
3]ms 是指2ms<执行耗时≤3ms SQL执行次数占比（3,10]ms 是指3ms<执行耗时≤10ms SQL执行次数占比（10,100]ms 是指10ms<执行耗时≤100ms SQL执行次数占比（0.1,1]s 是指0.1s<执行耗时≤1s SQL执行次数占比>1s 是指1s<执行耗时 SQL执行次数占...
SQL Server数据源
该驱动支持的SQL Server版本如下所示：版本 支持性（是/否）SQL Server 2016 是 SQL Server 2014 是 SQL Server 2012 是 PDW 2008R2 AU34 是 SQL Server 2008 R2 是 SQL Server 2008 是 SQL Server 2019 否 SQL Server 2018 否 Azure SQL ...
配置SQL执行控制
本文介绍在安全规则中配置SQL执行任务时的参数、策略和无锁结构变更参数的方法。前提条件 系统角色为管理员或DBA。查看系统角色，请参见 查看我的系统角色。管控模式为安全协同的实例，支持SQL执行控制。查看管控模式，请参见 查看管控模式...
PL 编译和调试
PL 调试 在 SQL 开发窗口的左侧导航栏>存储过程列表中，选择调试存储过程 PROC_VARCHAR2，进入调试模式。设置参数值后，单击 确定。重要 OceanBase V4.0.0 及之后的版本，调试前需要获取调试权限。示例：GRANT DEBUG CONNECT SESSION TO ...
离线同步数据质量排查
同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，为了最大化提高数据同步的效率，任务在执行时会将split切分成多个子作业，每个子作业称之为一个Task。这些Task以单机或者多机的方式并发执行，每个Task读取一个数据区间内的...
术语表
本文介绍云原生分布式关系型数据库PolarDB-X使用过程中遇到的术语。控制台术语 名词 描述 地域 数据中心所在的地理位置。可用区 可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（实例）...
- 产品推荐
- 这些文档可能帮助您