DEADLOCK（死锁）
由于事务更新历史中存在跨分区的可能，因此分布式数据库将强行锁定所有未通过HybridDB for MySQL死锁检测且被清除的事务，强制用户只能进行 rollback 而不得进行其它任何操作。对于那个通过 HybridDB for MySQL死锁检测的事务，后续的操作...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
创建 MySQL 数据库
我们将在 tutorial_mysql 租户下，创建名为 tutorial_database 的数据库。云数据库 OceanBase 的 MySQL 模式兼容 MySQL 5.7/8.0 的绝大部分功能和语法，更多内容参见 与 MySQL 兼容性对比。操作步骤 单击左侧导航栏 租户管理，进入租户列表...
设置事件报警
云原生数据仓库 AnalyticDB MySQL 版 数仓版（3.0）集群的运维事件和资源弹性计划接入了云监控系统，您可以为系统事件设置报警规则，通过短信、邮件接收通知或设置报警回调，使您及时收到报警通知，快速分析定位并处理问题，形成线上自动化...
导出至OSS
云原生数据仓库AnalyticDB MySQL版 支持通过外表和INSERT INTO方式将 AnalyticDB MySQL版 数仓版（3.0）中的数据导出到对象存储OSS（Object Storage Service）中。将数据导出到OSS功能只支持CSV和Parquet格式文件。前提条件 在 对象存储 ...
集成组件库开发说明
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。...完成后，RDBMS类型数据库可直接在默认组件中选取，非RDBMS类型数据库需自行上传自定义读写插件。
配置源库信息
本文介绍配置源库信息的具体方法。前提条件 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华南1（深圳）、华南3（广州）和中国香港创建ETL任务。当前源库支持 MySQL、PolarDB MySQL、Oracle...
集成组件库开发说明
组件名称 组件配置 限速 配置限速流程组件 条件分发 配置条件分发流程组件 自定义组件 如需使用自定义组件，请先创建 离线自定义源类型，完成后，RDBMS类型数据库可直接在默认组件中选取，非RDBMS类型数据库需自行上传自定义读写插件。
名称解释
用户需要在开通HybridDB for MySQL数据库时指定，购买实例后不支持更改。在购买HybridDB for MySQL数据库时，需要搭配阿里云服务器ECS使用，目前HybridDB for MySQL只支持阿里云内网访问，在地域选择时需要与ECS相同。可用区 可用区（AZ）...
性能测试指导
本文介绍RDS MySQL实例性能测试的方法。前提条件 快速创建RDS MySQL实例。创建ECS实例。背景信息 实例性能测试的指标包括：每秒执行事务数TPS（Transactions Per Second）数据库每秒执行的事务数，以COMMIT成功次数为准。SysBench标准OLTP...
产品和业务限制
限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
通过外表导入至数仓版
本文介绍如何通过外表将云数据库RDS MySQL中的数据导入至 AnalyticDB MySQL。前提条件 RDS MySQL实例需与 AnalyticDB MySQL 集群位于同一个VPC，即所在专有网络的VPC ID相同。说明 登录 RDS控制台，单击实例ID，在 数据库连接 页面的 网络...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
导出至RDS MySQL
本文介绍如何通过 AnalyticDB MySQL 数仓版（3.0）的外表导出数据至云数据库RDS MySQL。前提条件 RDS MySQL实例需与 AnalyticDB MySQL 集群位于同一个VPC，即所在专有网络的VPC ID相同。说明 登录 RDS控制台，单击实例ID，在 数据库连接 ...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
MongoDB数据导入
本文介绍如何通过 AnalyticDB for MySQL 湖仓版（3.0）外表查询MongoDB数据，以及如何将MongoDB中的数据导入至 AnalyticDB for MySQL 湖仓版（3.0）。前提条件 已在MongoDB实例所在的同一VPC中创建 AnalyticDB for MySQL 湖仓版（3.0）集群...
使用Spark SQL进行作业开发
本文介绍如何使用Spark SQL作业开发，将ODS层表数据通过DWD层过滤后，写入ADS层。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群，且集群至少有16 ACU的计算预留资源和24 ACU的存储预留资源。详情请参见 创建湖仓版集群。已创建Job型...
Druid连接池配置
本文介绍如何通过JDBC Druid连接池连接 云原生数据仓库AnalyticDB MySQL版。注意事项 仅支持Druid 1.1.16以上的版本。使用Druid连接池连接 AnalyticDB MySQL 时，建议配置，可以复用连接和避免短连接。AnalyticDB MySQL 前端接入节点使用...
配置AnalyticDB for MySQL 2.0输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。Load参数：用于MaxCompute中转的连接，以JSON格式填写，例如：{"accessid":"XXX","accessKey":"XXX","odpsServer"："XXX"，"tunnelServer"："XXX"，"accountType"：...
配置AnalyticDB for MySQL 2.0输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。Load参数：用于MaxCompute中转的连接，以JSON格式填写，例如：{"accessid":"XXX","accessKey":"XXX","odpsServer"："XXX"，"tunnelServer"："XXX"，"accountType"：...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
数仓版变配湖仓版
湖仓版（3.0）在 数仓版（3.0）的能力基础上，从数据的采集、存储、计算和应用等方面做了全面升级。您可以将 数仓版（3.0）集群变配为 湖仓版（3.0），体验更多功能。变配方式有两种，包括：直接变配和克隆集群。本文主要介绍如何通过直接...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
查询报错问题
若SQL自身无法进行优化，但依旧触发该错误，可联系分析型数据库MySQL版技术支持对单个分析型数据库MySQL版的系统默认值进行调整，此操作可能会造成数据库性能下降。查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后...
查询改写功能
云原生数据仓库AnalyticDB MySQL版 不仅支持查询物化视图，还支持查询改写，即执行用户查询时，自动将查询改写成对物化视图的查询，提高查询效率。本文介绍如何使用物化视图的查询改写功能。前提条件 AnalyticDB for MySQL 湖仓版（3.0）和...
自定义函数（邀测中）
AnalyticDB for MySQL 支持使用REMOTE_CALL函数远程调用函数计算服务（Function Compute，简称FC）中自定义的函数，以满足您在 AnalyticDB for MySQL 中使用UDF（用户自定义函数）的需求。前提条件 已提交Remote UDF功能的试用申请，并获得...
应用开发向导
可以使用MySQL客户端测试是否可以连接数据库。检查本地的MySQL驱动版本；我们支持的版本有如下所示。5.0系列：5.0.2，5.0.3，5.0.4，5.0.5，5.0.7，5.0.8 5.1系列：5.1.1，5.1.2，5.1.3，5.1.4，5.1.5，5.1.6，5.1.7，5.1.8，5.1.11，5.1....
表结构设计
本文介绍如何设计 AnalyticDB for MySQL 的表结构（包括选择表类型、分布键、分区键、主键和聚集索引键等），从而实现表性能的优化。选择表类型 AnalyticDB for MySQL 支持复制表和普通表两种类型。在选择表类型时，需要注意如下几点：复制...
字段加工
本文介绍字段加工算子的使用方法和注意事项。用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明...
从RDS原生实时同步
HybridDB for MySQL原生支持直接从RDS实时同步数据，用户可以快速地构建起RDS到HybridDB for MySQL的同步关系，轻松实现数据流转和复杂查询加速。前提条件 必须使用阿里云主账户执行该操作。该操作只支持阿里云RDS for MySQL（5.6版本）...
查询数据库账号
AnalyticDB MySQL兼容MySQL数据库，AnalyticDB MySQL中也有一个名为MySQL的内置数据库，该数据库中存储的是AnalyticDB MySQL中的用户与权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中，...
配置同步任务中的数据来源和去向
成功将数据导入分析型数据库MySQL版后，您就可以使用分析型数据库MySQL版进行数据分析。进入 DataWorks控制台，单击对应项目操作栏中的 数据开发。单击左侧菜单栏中的 数据开发，右键单击 业务流程 新建一个流程。右键单击 步骤2 中新建的...
无感数据集成（Zero-ETL）
上述参数配置完成后，单击 配置库表字段，配置信息如下：库表字段配置 说明 数据库名称 选择已有的数据库。表名称 选择已有的数据表。主键列 已选数据表中的主键所在字段。分布键 已选数据表中的分布键所在字段。类型 数据表类型，包括分区...
Spark应用配置参数说明
云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）Spark配置参数跟开源Spark中的配置参数基本一致。本文介绍 AnalyticDB for MySQL 与开源Spark用法不一致的配置参数。使用说明 Spark应用配置参数用于配置和调整Spark应用程序的...
自定义RDBMS数据库及同步数据
操作流程 自定义并应用MySQL数据库组件的流程如下：步骤 描述 步骤一：配置网络和创建数据表 在您开始自定义并应用RDBMS数据库组件前，需要配置RDS MySQL实例和Dataphin间的网络，及创建同步数据的源表和目标表。步骤二：创建自定义数据源 ...
自定义RDBMS数据库及同步数据
操作流程 自定义并应用MySQL数据库组件的流程如下：步骤 描述 步骤一：配置网络和创建数据表 在您开始自定义并应用RDBMS数据库组件前，需要配置RDS MySQL实例和Dataphin间的网络，及创建同步数据的源表和目标表。步骤二：创建自定义数据源 ...
概述
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
- 产品推荐
- 这些文档可能帮助您