云原生数据仓库ADB的审计事件
DescribeAdbMySqlSchemas 查看ADB for MySQL实例所拥有的数据库列表。DescribeAdbMySqlTables 用于查询ADB for MySQL实例某个数据库下的表名列表。DescribeAdviceServiceEnabled 查询ADB实例服务开通状态。DescribeAirflowAttribute 查询...
源文件
Codeup 支持树状结构查看文件列表，参见①。支持在树状列表的文件新建、文件上传、文件查找。1.切换左侧树状节点，点击文件展现文件内容，参见②；文件操作：支持在Web IDE中查看文件、Blame信息、提交历史、原始文件、固定地址。支持在Web...
使用OSS Foreign Table进行数据湖分析
获取OSS Bucket信息 以下内容将指导您获取 Bucket名称、文件的路径、Endpoint（地域节点）和 Bucket域名。登录 OSS管理控制台。在左侧导航栏中，单击目标 Bucket列表。在 Bucket列表，单击目标Bucket。您可以在 Bucket列表 页面，您可以...
通过元数据发现导入至湖仓版
格式解析器 格式解析器会读取数据文件内容，从而确定文件的数据格式。默认为自动解析，即按照顺序调用所有内置解析器。您可以根据OSS路径中文件的格式，选择与文件格式相同的格式解析器。重要 选择的格式解析器类型和文件格式不一致时，会...
DataV设计资产介绍
单击 查看 按键，即可查看该资产文件的详细信息内容，如果是视频资产，我们可以单击播放观看该视频且单击截取一个视频的封面。单击某个资产内容上方的 更改分组 按键，即可打开 选择分组 对话框，您可以在对话框内调整现有资产的分组情况。...
通过spark-submit命令行工具开发Spark应用
文件资源上传时，会使用md5校验文件内容，当指定的OSS路中有相同文件名且md5相同时，将不再重复上传。如果手动更新了OSS路径中的JAR包，请删除对应的md5文件。说明 由于Spark-Submit上传本地JAR包时，需要RAM用户拥有对OSS的访问权限。您...
导入数据并查询
本文以数据文件存储在OSS中为例，介绍如何将OSS中的数据文件导入 AnalyticDB for MySQL 的 adb_demo 数据库中并进行查询。前提条件 通过以下步骤在OSS中创建存储 AnalyticDB for MySQL 数据的目录。开通OSS服务。详情请参见 开通OSS服务。...
通过导入工具导入至数仓版
合法文件内容如下：1|tv|1000.0 2|computer|2000.0 3|cup|15.8 导入工具兼容最后一列包含多余分隔符的情况。例如 1|abc|3.0 和 1|abc|3.0|都是合法的。说明 对于空字符串，导入工具默认按照null处理，例如导入的文件为 4|5.0，则 name 列会...
通过检测外发文件保障数据安全
元素类型 文件名 或者 文件内容 选择 文件名 或者 文件内容 时，需要设置 元素组成，取值：选择 关键词 时，需要 自定义关键词。自定义关键词可以是满足自定义的所有条件，也可以满足任意一个条件即可。配置多个条件，最多可添加100个条件...
自定义Spark镜像
执行 vim Dockerfile 命令，新建 Dockerfile 文件，添加下述内容并保存。本示例展示如何在自定义镜像中安装Python 3.8及最新版Tensorflow。FROM registry....
远程调试
操作指引如下：申请远程真机 安装应用 查看日志 截屏/录屏 上传文件 设置远程调试 定位测试 扫码测试 实施性能测试 申请远程真机 在页面左侧导航栏，选择 移动测试>远程真机，打开远程真机资源列表。选择待调试的远程真机。在搜索框输入...
通过Spark SQL读Lindorm数据
在 SQLConsole 窗口中输入以下作业内容：SET spark.adb.connectors=oss,external_hive;SET spark.adb.eni.enabled=true;SET spark.adb.eni.vswitchId=vsw-bp14pj8h0k5p0kwu3*;SET spark.adb.eni.securityGroupId=sg-bp11m93k021tp4ca*;SET ...
通过外表导入至湖仓版
示例数据说明 本文示例将数据文件 person 上传至OSS中的 testBucketName/adb/dt=2023-06-15 目录，数据行分隔符为换行符，列分隔符为英文逗号（,）。person 中的示例数据如下：1,james,10,2023-06-15 2,bond,20,2023-06-15 3,jack,30,2023-...
GetSparkDefinitions-查询Spark的通用定义内容
查询Spark的通用定义内容。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
访问RDS MySQL数据源
vsw-bp17jqw3lrrobn6y*","spark.adb.eni.securityGroupId":"sg-bp163uxgt4zandx*","spark.driver.resourceSpec":"small","spark.executor.instances":1,"spark.executor.resourceSpec":"small""spark.adb.eni.roleArn":"acs:ram:...
DeleteSparkTemplateFile-删除Spark模板
删除Spark模板文件。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。说明 如果...
CreateMediaConvertTask-创建媒体转码任务
创建一个异步的媒体转码任务，提供媒体转码、媒体拼接、视频截帧、视频转动图等相关音视频媒体文件处理能力。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调用该接口前，请确保当前 Region 已经存在可用...
GetSparkTemplateFileContent-查询Spark应用模板的内容
获取Spark应用模板的内容。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。...
GetSparkAppWebUiAddress-查询Spark Web UI地址
变更历史 变更时间 变更内容概要 操作 2023-11-24 OpenAPI 错误码发生变更、OpenAPI 入参发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。删除错误码：400 删除错误码：404 删除错误码：500 入参 OpenAPI 入参发生变更...
通过外表导入至数仓版
后续步骤 导入完成后，您可以登录 AnalyticDB MySQL 的目标库 adb_demo 中，执行如下语句查看并验证源表数据是否成功导入至目标表 adb_hdfs_import_test 中：SELECT*FROM adb_hdfs_import_test LIMIT 100;创建HDFS外表 创建文件格式为CSV的...
SetSparkAppLogRootPath-更改用户Spark的日志配置
操作 访问级别 资源类型 条件关键字 关联操作 adb:SetSparkAppLogRootPath Write DBClusterLakeVersion acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId} 无 无 请求参数 名称 类型 必填 描述 示例值 DBClusterId string 是 ...
GetSparkAppState-查询Spark应用的状态
操作 访问级别 资源类型 条件关键字 关联操作 adb:GetSparkAppState Read DBClusterLakeVersion acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId}/resourcegroup/{#ResourceGroup}/sparkapp/{#SparkAppId} 无 无 请求参数 名称 ...
PreloadSparkAppMetrics-预加载Spark App指标数据
变更历史 变更时间 变更内容概要 操作 2023-11-24 OpenAPI 错误码发生变更、OpenAPI 入参发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。删除错误码：400 删除错误码：403 删除错误码：404 删除错误码：406 删除错误码...
DeleteSparkTemplate-删除Spark模板
删除Spark模板文件。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。说明 如果...
RenameSparkTemplateFile-重命名Spark模板文件
重命名Spark模板文件。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。说明 ...
云盘备份数据导入至AnalyticDB MySQL版
示例：文件：oss:/<bucket-name>/adb/oss_import_test_data.csv。文件夹：oss:/<bucket-name>/adb_data/。说明 若指定为源数据文件夹的路径，成功创建外表后，外表中的数据为该文件夹下的所有数据。accessid 您在访问OSS中的文件或文件夹时...
访问OSS数据源
print("File total lines:"+str(textFile.count()))#打印文件的第一行内容 print("First line is:"+textFile.first())步骤二：访问OSS数据 登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群...
GetSparkSQLEngineState-查询Spark SQL引擎状态
400 Spark.Config.invalidConnectors The spark.adb.connectors configuration is invalid:%s spark.adb.connectors配置不正确。400 Spark.Config.RoleArnVerifyFailed RoleARN parameter verification failed.Error msg:%s when verify ...
GetSparkAppInfo-查询Spark应用的信息
查看Spark应用的信息。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例：adb-vpc.cn-hangzhou.aliyuncs.com 。说明 ...
GetSparkConfigLogPath-获取Spark日志配置路径
访问 错误中心 查看更多错误码。变更历史 变更时间 变更内容概要 操作 2023-07-27 OpenAPI 错误码发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。错误码 400 变更 删除错误码：500 新增错误码：403
列出集群中的Spark模板文件ID
查询AnalyticDB MySQL湖仓版（3.0）集群所有保存的Spark模板文件ID。接口说明 地域的公网接入地址：adb.<region-id>.aliyuncs.com 。示例：adb.cn-hangzhou.aliyuncs.com 。地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com 。示例...
CreateSparkTemplate-创建Spark应用模板
创建Spark应用模板。接口说明 地域的公网接入地址：...变更历史 变更时间 变更内容概要 操作 2023-06-28 OpenAPI 错误码发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。错误码 400 变更 删除错误码：500 新增错误码：404
DownloadDiagnosisRecords-下载诊断记录
106.11.XX.XX Lang string 否 设置下载文件的文件标题以及部分错误信息的语言，支持如下语言：zh：简体中文（默认语言）。en：英文。ja：日文。zh-tw：繁体中文。zh 返回参数 名称 类型 描述 示例值 object 详情。DownloadId integer 下载 ...
配置企业知识库
其中用来储存向量数据的数据库，可以使用内置的ES实例，除了默认的文件和向量存储，还可以关联OSS文件存储Bucket（OSS对象存储产品说明：快速开通OSS说明）和ADB-PG向量存储实例（向量数据库产品说明：向量数据库说明）。OSS授权及跨域访问...
GetSparkAppLog-查询Spark应用日志
操作 访问级别 资源类型 条件关键字 关联操作 adb:GetSparkAppLog Read DBClusterLakeVersion acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId}/resourcegroup/{#ResourceGroup}/sparkapp/{#SparkAppId} 无 无 请求参数 名称 ...
UpdateSparkTemplateFile-更新Spark应用模板
更新Spark应用模板。...变更历史 变更时间 变更内容概要 操作 2023-06-28 OpenAPI 错误码发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。新增错误码：400 新增错误码：403 新增错误码：404 新增错误码：500
使用Notebook开发
Notebook界面介绍：保存在Notebook编辑的内容。在当前单元格的上方插入一个单元格。删除所选中的单元格。剪切选中的单元格。复制选中的单元格。粘贴复制的内容到选中的单元格。执行所选中的单元格的内容。终端内核。重启内核。重启内核，并...
GetSparkAppMetrics-查询Spark App指标数据
变更历史 变更时间 变更内容概要 操作 2023-11-24 OpenAPI 错误码发生变更、OpenAPI 入参发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。删除错误码：400 删除错误码：403 删除错误码：404 删除错误码：406 删除错误码...
数据脱敏
脱敏任务执行失败排查 脱敏任务执行失败后，参考以下内容查看失败原因。执行失败错误提示 错误原因 找不到脱敏任务，有可能是因为任务已经被删除或者关闭 脱敏任务可能被删除或被关闭（脱敏任务 操作 列下的开关为关闭状态）。定时任务的...
- 产品推荐
- 这些文档可能帮助您