隔离等级
表的隔离级别定义了必须将某事务与并发事务所做的修改隔离的程度。Databricks上的Delta Lake支持两种隔离级别：Serializable和WriteSerializable。说明 详细内容可参考Databricks官网文章：隔离等级 Serializable：最强的隔离级别。它确保...
语法
语法 INSERT[INTO|OVERWRITE]table_name[(column[,.])]query INSERT INTO用于插入新数据，而INSERT OVERWRITE用于覆盖老数据，插入新数据，执行完成之后的效果是老数据全部被删除，表中的数据变成了新数据。目前只有OSS数据源支持INSERT ...
REVOKE
xxDb.yyTable：表示撤销指定库中指定表的权限，表级别权限。yyTable：表示当前连接使用了某个库xxDB，针对xxDB库的xxTable撤销权限，表级别权限。暂时不支持撤销字段级别的权限。user：被撤销权限的子账号。只能由DLA的Root账号撤销其他非...
GetTable
调用GetTable获取给定表的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetTable ...
DropTable
将给定表删除 请求参数 名称 类型 是否必选 示例值 描述 DbName String 是 db001 需要删除表所在的数据库 TableName String 是 tbl001 需要删除的表 返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 标记成功错误的 CODE Data ...
约束条件
Delta表支持标准的SQL约束管理子句，以确保自动验证添加到表中的数据的质量和完整性。当违反约束时，Delta Lake会抛出一个InvariantViolationException信号，表示无法添加新数据。支持两种类型的约束：NOT NULL：表示特定列中的值不能为...
按量付费
表1：华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）实例规格族 vCPU 内存（GB）参考价格（元/时）通用型g5 1 4 0.841 通用型g6 1 4 0.475 计算型c5 1 2 0.589 计算型c6 1 2 0.371 内存型r5 1 8 1.074 内存型r6 1 8 0.632 表...
体验数据
体验数据报表支持您查看各项目下游戏体验数据，提供体验总览、游戏体验日报表和玩家地区分布情况，帮助您更精准地了解用户体验游戏情况。1.点击【数据报表-体验数据】，点击【项目名称】下拉框选择您需要查看的项目报表。根据您的需要，对...
CREATE VIEW
CREATE VIEW 用于创建视图。CREATE VIEW view_name AS select_stmt 参数 ...示例 创建视图finished_orders_v1，视图数据来源为tpch Schema中的finished_orders表数据。CREATE VIEW tpch.finished_orders_v1 AS SELECT*FROM finished_orders;
RCFILE
CREATE SCHEMA dla_oss_db with DBPROPERTIES(catalog='oss',location 'oss:/bucket-name/') 在DLA中创建nation_txt表，LOCATION 为OSS中nation.tbl的路径。 CREATE EXTERNAL TABLE nation_txt(n_nationkey int,n_name string,n_id ...
查看网关状态
下表显示了网关可能具有的状态：网关状态 描述 网关未启动 网关尚未安装或尚未启动成功。运行中 网关已经启动且运行正常。异常 网关状态异常。已停止 网关已被停止。说明 网关被停止之后，您还可以在本地手工重新启动该网关的进程。
ORC
CREATE SCHEMA dla_oss_db with DBPROPERTIES(catalog='oss',location 'oss:/dlaossfile1/')在DLA中创建orders_txt表，LOCATION为OSS中orders.tbl的路径。CREATE EXTERNAL TABLE orders_txt(O_ORDERKEY INT,O_CUSTKEY INT,O_ORDERSTATUS ...
创建MySQL表并读取数据
本文介绍如何在DLA中创建MySQL表并读取数据。登录 DLA控制台。单击左侧导航栏的 SQL访问点，然后单击 登录DMS，在DLA中创建如下表所示的MySQL表。CREATE EXTERNAL TABLE hello_mysql_vpc_rds.tbl_person(id int,name varchar(1023),age int...
迁移指南
Python%pyspark spark.sql("CREATE TABLE events USING DELTA LOCATION '/mnt/delta/data-pipeline/'")转换为增量表 您有两种选择将Parquet表转换为Delta表：将文件转换为Delta Lake格式并创建Delta表：SQL%sql CONVERT TO DELTA parquet.`...
最佳实践
如果不需要更改表架构，则可以从Delta表中删除数据并插入新数据，或者更新表以修复不正确的值。如果要更改表架构，则可以atomic替换整个表。例如：dataframe.write \.format("delta")\.mode("overwrite")\.option("overwriteSchema","true...
包年包月
表1：华东1（杭州）、华东2（上海）、华南1（深圳）、华北2（北京）实例规格族 vCPU 内存（GB）价格（元/月）通用型g5 1 4 242.25 通用型g6 1 4 228 计算型c5 1 2 170.05 计算型c6 1 2 177.65 内存型r5 1 8 309.7 内存型r6 1 8 302.1 表2：...
AlterTable
调用AlterTable修改表的数据库名、表名、表属性以及列信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
RAM鉴权
在进行RAM子账号授权时，云游戏资源的描述方式如下：资源 资源描述 Game acs:cloudgame:$regionid:$accountId:game/$gameId Project acs:cloudgame:$regionid:$accountId:project/$projectId 可授权的云游戏接口 下表列举了云游戏中可授权...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
创建OSS Schema和表
本示例中dla_table_1、dla_table_2分别与AnalyticDB中的shipping、order_table表信息一致。登录 DLA控制台。单击左侧导航栏的 SQL访问点，然后 登录DMS 创建OSS Schema。 CREATE SCHEMA oss_data_schema with DBPROPERTIES(catalog='oss'...
OSS表属性
本文主要介绍了OSS表属性的定义方法。auto.create.location 在DLA上自动创建OSS上对应的目录，并创建表。示例如下：CREATE EXTERNAL TABLE person(`id` int,`name` string,`age` int)STORED AS TEXTFILE LOCATION 'oss:/bucket001/dir001...
DROP SCHEMA语法
删除Schema 语法 DROP {DATABASE|SCHEMA}[IF EXISTS]database_name[RESTRICT|CASCADE]参数 RESTRICT：如果该database不为空（有表存在），DROP操作会报错，执行失败，RESTRICT是默认逻辑。CASCADE：即使该database不为空（有表存在），DROP...
创建OSS Schema和表
在DLA中创建OSS Schema和表即可读取OSS中的文件数据。创建Schema 登录 DLA控制台。单击左侧导航栏的访问点管理，然后登录DMS，在DLA中创建OSS Schema的语法如下所示：CREATE SCHEMA oss_data_schema with DBPROPERTIES(catalog='oss',...
如何得到AppKey
如下表。这里的来源有两个，“手动创建”和“应用部署”。“手动创建”是由当前页面的“创建AppKey”产生的，“应用部署”是由“应用管理”中的应用部署产生，并分配给对应的应用实例。两者使用场景有所不同。前者主要用于非托管的SaaS应用...
数据写入OSS
在DLA中创建orders_txt表。CREATE EXTERNAL TABLE orders_txt(O_ORDERKEY INT,O_CUSTKEY INT,O_ORDERSTATUS STRING,O_TOTALPRICE DOUBLE,O_ORDERDATE DATE,O_ORDERPRIORITY STRING,O_CLERK STRING,O_SHIPPRIORITY INT,O_COMMENT STRING)ROW...
TCC 模式接入
在 RDS 中建表。将样例工程上传到 ECS 上，并修改数据源、GTS 分组、以及 Access Key ID 和 Access Key Secret。编译样例工程，查看运行结果。查看事务分组运行状态。TCC 事务模式样例 sample-txc-mt-reserve-simple 样例 sample-txc-mt-...
常见术语
DLA元数据 元数据：支持库（Schema，是表的集合）、表（Table，是同构行记录的集合）、列（Column，描述一行数据的某个属性）、视图（View，将某个查询的结果抽象成一张表）等，每个库（Schema）只能对应一种数据源，元数据是Presto引擎、...
Parquet
本文以 customer.tbl 为例，...执行 INSERT.SELECT 语句，将customer_txt表中的数据插入customer_parquet表中。INSERT INTO customer_parquet SELECT*FROM customer_txt;INSERT.SELECT 语句执行成功后，在OSS中查看生成的Parquet数据文件。
JDBC数据服务问题
不同的 数据服务类别 会返回不同的查询结果参数：单表查询：可以将查询结果参数的 表别名字段名 直接配置为需要的字段逻辑运算表达式，如(score1+score2)/2。多表查询：可以将查询结果参数的 表别名.字段名 直接配置为需要的字段逻辑运算...
MSCK REPAIR TABLE SYNC_DIR
使用场景 分区比较多，MSCK整张大表比较慢，如只想同步特定目录下所有的分区信息。有些OSS目录不想再同步进入分区表，但MSCK工具会强制同步整个大目录分区信息，可以使用MSCK SYNC_DIR实现更精准的控制。语法 MSCK REPAIR TABLE tbl1 SYNC_...
sample-txc-mt-reserve-simple 样例
例如对于 account 表需要创建对应的临时表 temp_table，临时表必须包含 xid 和 branchid 两个字段。构建样例工程 在两个 RDS 实例中分别通过 sample-txc-mt-reserve-simple.sql 创建 account 表和 temp_table 表。下载样例 txc-yun-sample ...
创建Oracle Schema
单击左侧导航栏的 SQL访问点，然后单击 登录DMS，在DLA中创建如下表所示的Oracle Schema。CREATE SCHEMA oracle_test WITH DBPROPERTIES(catalog='oracle',location='jdbc:oracle:thin:@1.2.3.4:1521/XE',instance='HR',user='hello',...
运营数据
运营数据报表支持您查看已上线游戏的运营总览数据、运营日报表、运营周报表和运营月报表，帮助您更准确地了解游戏运营情况。1.点击【数据报表-运营数据】，点击【项目名称】下拉框选择您需要查看的项目报表。根据您的需要，对平台类型/日期...
GRANT
xxDb.yyTable 表示针对Schema/DataBase的某个表做授权，表级别权限。yyTable 表示当前连接使用了某个库xxDB，针对xxDB库的xxTable做授权，表级别权限。暂时不支持字段级别的授权。user：被授权人 只能由DLA的Root账号给其他非Root账号授权...
DropDatabase
说明 此API接口无法删除数据库里面表的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
sample-txc-mt-compensate-simple 样例
例如对于 Orders 表需要创建对应的临时表 temp_orders，Stock 表需要创建临时表 temp_stock，临时表必须包含 xid 和 branchid 两个字段。下面以库存服务为例进行说明。在一阶段，即 rollout 方法中首先将相关业务数据商品 ID（pid）和商品...
DBeaver
详细的参数配置如下表所示。配置项 说明 服务器地址 DLA的连接地址。若DBeaver安装在与DLA相同Region的ECS上，服务器地址 使用DLA的VPC连接地址。DBeaver将通过内网访问DLA，访问速度更快、更安全。若DBeaver需要通过公网访问DLA，服务器...
Power BI
详细的参数配置如下表所示。配置项 说明 服务器 DLA的连接地址。关于如何获取DLA的连接地址，请参见 连接概览。若Power BI需要通过公网访问DLA，服务器 使用DLA的公网地址。若Power BI安装在与DLA相同Region的ECS上，服务器 使用DLA的VPC...
背景信息及准备工作
前提条件 在OSS中上传测试数据文件 pivot、unpiovt 表，表存储路径分别为 oss:/bucket-name/test/pivot/pivot.txt 和 oss:/bucket-name/test/unpivot/unpivot.txt。创建OSS Schema。CREATE SCHEMA oss_test_schema with DBPROPERTIES...
ALTER TABLE
注意事项 目前ALTER TABLE的操作只支持OSS表。不支持对 partition key 做修改。不支持修改内表的列类型。如果表中存在大量的分区，修改列名称和类型会很耗时，请谨慎操作。添加分区 语法 ALTER TABLE table_name ADD[IF NOT EXISTS]...
- 产品推荐
- 这些文档可能帮助您