背景信息以及准备工作
您还可以在DLA中创建 云数据库 Redis 版（简称Redis）的数据库连接（映射数据库），然后通过MySQL客户端或者MySQL命令行工具连接DLA，使用标准SQL语句操作Redis数据库数据。本文档将以DLA读取Redis中CSV和JSON两中类型的数据为例，介绍如何...
使用DMS和DG管理本地或第三方云数据库
阿里云数据库网关DG（Database Gateway）支持在不暴露公网IP的前提下，将本地自建或第三方云厂商的数据库与阿里云服务连接起来，避免使用公网IP连接的安全风险。您可以通过数据库网关将本地或第三方云数据库录入DMS进行管理。背景信息 将...
产品优势
多数据库支持 支持 MySQL、RDS、DRDS、PostgreSQL、Oracle数据库。说明 除 MySQL 数据库外，GTS 目前仅支持部分数据库版本。DRDS 仅支持5.2.x版本，Oracle 仅支持19c版本。如果您有其他数据库需求，请提工单获取技术支持。使用便捷 提供...
Notebook-航空公司数据分析示例
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val text=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")步骤一...
用户权限说明
12C 及之后版本 DBA 用户权限赋予说明 如果用户的环境允许为迁移用户赋予数据库管理员（DBA）角色，且 Oracle 数据库的版本为 12C 及之后的版本，则需要区分是否使用 12C/18C/19C 的可插拔数据库 Pluggable DataBase（PDB）。非 PDB 执行...
ModifyDatabase
调用ModifyDatabase修改数据库信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
MongoDB（公测中）
latest-offset模式：首次启动时，从不对受监视的数据库表执行快照，连接器仅从oplog 的结尾处开始读取，这意味着连接器只能读取在连接器启动之后的数据更改。timestamp：跳过快照阶段，从指定的时间戳开始读取oplog事件，需要MongoDB>=4.0...
REVOKE
xxDb.*：表示撤销指定Schema/DataBase的权限，库级别权限。xxDb.yyTable：表示撤销指定库中指定表的权限，表级别权限。yyTable：表示当前连接使用了某个库xxDB，针对xxDB库的xxTable撤销权限，表级别权限。暂时不支持撤销字段级别的权限。...
通用属性
column_mapping 当DLA中的列名跟底层数据中的列名不一致的时候，或者底层数据中没有列的概念的时候，可以用property来指定底层数据列名与DLA列名的对应关系。示例如下：create external table person(id int,name string,age int)...
API概览
数据库管理 API 描述 CreateDatabase 创建数据库。GetDatabase 获取给定数据库的信息。GetAllDatabases 获取当前用户有读权限或写权限的所有数据库。AlterDatabase 修改数据库的信息。DropDatabase 删除数据库。分区管理 API 描述 ...
AddDatabase
调用AddDatabase添加数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 AddDatabase 系统...
AlterDatabase
调用AlterDatabase接口修改数据库的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习...轻量级清洗方案：可以通过Presto满足轻量级数据ETL，从OSS写入数据到数据库。
创建MySQL表并读取数据
查询MySQL数据 在DLA中创建好了MySQL Schema和表后，您就可以通过MySQL客户端或者MySQL命令行工具连接DLA，然后使用标准SQL语句读写MySQL数据库数据。mysql>select*from person;id|name|age|+-+-+-+|1|james|10|2|bond|20|
Serverless Presto概述
每种数据源创建库、表的选项稍有不同，可以阅读 连接数据源 下面的文档来查看建每种数据源库表的具体写法。DLA的Presto Clusters集群是兼容社区Presto的，关于函数的具体定义可以参考社区文档。Presto Clusters集群下面可以接入各种数据源...
OceanBase
DLA支持通过CU版访问用户自建的OceanBase，通过标准SQL语句查询OceanBase中的数据或者直接向OceanBase写入数据。本文介绍如何通过DLA读写OceanBase上的数据。前提条件 目前仅支持通过CU版访问OceanBase，请确保您已开通CU版，开通方式，请...
ConnectDatabase
调用ConnectDatabase通过网关进行数据库连通性测试。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
MongoDB
读写MongoDB数据源（开启SSL）MongoDB 数据库SSL证书库jks下载 说明 阿里云MongoDB证书下载，可以到 云数据库MongoDB管控 进行下载，证书库的默认密码：apsaradb 将jks证书库分发到DDI所有服务器节点（此步骤可以联系DDI开发运维人员协助）...
什么是文档智能
选择文档智能，您可以高效完成以下文档处理任务：结构化解析文档，提取文档中的层级树、版面、表格和字段等元素。进行文档格式转换，如PDF转Word/Excel、图片转Word/Excel等。在贸易单证、合同等企业文档中进行场景化智能文档处理。借助自...
新功能发布记录
敏感数据保护概览 09月 功能名称 变更类型 功能描述 相关文档 新增支持Hologres和DB2数据源 新增 支持Hologres和DB2的数据库管理、数据库账号管理。支持的数据库类型与功能 任务编排中新增条件分支任务节点 新增 条件分支节点可以在任务流...
应用开发概览
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
创建数据库
连接集群 操作步骤 在 数据管理DMS控制台 的 SQL Console 页面中，输入CREATE DATABASE语句创建数据库。语法：CREATE DATABASE[IF NOT EXISTS]db_name[ON CLUSTER default];参数说明：db_name：数据库名。以小写字母开头，可包含字母、数字...
缓存数据持久化
当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时，阿里云为您提供了缓存数据持久化的高效方案，该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作，确保数据的高速访问和持久化存储，具备高吞吐、低...
管理数据源
CSB支持通过JDBC（Java Database Connectivity）将后端数据库访问能力以RESTful方式发布为服务，所以在发布该类型服务时，需要管理CSB实例的数据源。背景信息 CSB目前支持MySQL兼容的数据库，包括RDS Mysql、DRDS、MySQL。CSB目前支持...
产品动态
2022年 功能名称 功能概述 发布时间 相关文档 GDB AutoML 阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB AutoML）是一个面向企业和个人开发者的机器学习集成开发环境，实现将机器学习应用于现实问题的端到端...
CREATE VIEW
CREATE VIEW view_name AS select_stmt 参数 view_name：视图的名字，视图名前可加上数据库名。select_stmt：视图中的数据来源。示例 创建视图finished_orders_v1，视图数据来源为tpch Schema中的finished_orders表数据。CREATE VIEW tpch....
产品功能
GTS 提供了跨数据库、跨服务、消息队列和混合分布式事务，并提供多种事务模式。跨数据库分布式事务 系统分库、分表后，跨库事务几乎无法避免，GTS 可以让应用轻松具备跨库事务处理能力。跨服务的分布式事务 提供跨库、跨服务的事务支持，...
工作原理
数据库网关提供私网数据库远程访问的连接服务。通过数据库网关，您可以使用云服务访问并管理本地IDC或其他云厂商的数据库。工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务...
管理DLA账号
在 手机验证 框中，输入验证码，然后单击 确定。当您修改的是Root账号密码，DLA还会给您发送一封站内信，提醒您正在进行密码变更操作。如果后续您忘记Root账号密码，可以通过站内信找回。授权数据库子账号 您必须通过Root账号为子账号进行...
删除数据库
您可以通过SQL命令或RDS管理控制台删除数据库，但每种方式适合的实例类型不同，请根据实际情况，选择删除方式。注意事项 对于通用云盘实例，如果实例同时存在同名的在线库和冷存库，则不支持对这个名称的库进行删除。您可以通过API...
常用SQL
针对源端为数据库的元数据操作 MSCK REPAIR DATABASE：自动关联源数据库的所有表。CREATE TABLE LIKE MAPPING：自动根据源端的表的结构推断表结构。常见的查询DDL SHOW SCHEMAS：查询用户所有的SCHEMA/DATABASE。SHOW TABLES：查询用户当前...
最佳实践
如果不需要更改表架构，则可以从Delta表中删除数据并插入新数据，或者更新表以修复不正确的值。如果要更改表架构，则可以atomic替换整个表。例如：dataframe.write \.format("delta")\.mode("overwrite")\.option("overwriteSchema","true...
创建Redis Schema
单击左侧导航栏的访问点管理，然后，登录DMS，在DLA中创建Redis Schema的语法如下所示：CREATE DATABASE `redis_test` WITH DBPROPERTIES(catalog='redis',location='r-xxxxx.redis.rds.aliyuncs.com:6379/hello_' ,password='xxxxx',vpc_...
CreateDatabase
调用CreateDatabase创建数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
RetryDatabase
调用RetryDatabase接口重试数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
PolarDB MySQL
PolarDB是阿里云自研的下一代关系型云数据库，100%兼容MySQL，适用于企业多样化的数据库应用场景。本文主要介绍如何通过DLA Serverless Spark访问云数据库PolarDB。前提条件 已经开通对象存储OSS（Object Storage Service）服务。具体操作...
删除网关
以下介绍如何在控制台删除网关。操作步骤 访问控制台，进入 ...在弹出的对话框中，单击 确认。说明 运行中的网关无法被删除。常见问题 Q：备份网关删除报错？A：请先 停止 运行中的网关，再尝试使用主账号登录数据库网关控制台执行删除操作。
CREATE DATABASE
IF NOT EXISTS：如果CREATE语句中存在 IF NOT EXISTS 关键字，则当数据库已经存在时，该语句不会创建数据库，且不会返回任何错误。ON CLUSTER cluster：用于指定集群名称。说明 云数据库ClickHouse企业版集群无需指定 ON CLUSTER cluster。...
AlterTable
调用AlterTable修改表的数据库名、表名、表属性以及列信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
- 产品推荐
- 这些文档可能帮助您