如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版（兼容Oracle）提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的...
数据归档至AnalyticDB MySQL 3.0
归档后的表会新增四列数据，不影响表原始数据的使用：归档信息（工单号和归档时间）数据库名称 表名称 实例ID（DMS录入实例时赋予的ID，与实例真实ID对应）方式二：通过 AnalyticDB MySQL版 查询归档数据 具体的查询操作，请参见 导入数据...
创建单物理表服务单元
单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目...
多表合并
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 多表合并算子必须指定2个或者2个以上的 来源节点（又称为输入节点，每个来源节点可视为一张表），以求取这些...
Presto FAQ
分析型的查询往往只会获取一个表里面少数几列的数据，这样执行引擎比如Presto在实际扫描底层数据的时候只需要扫描需要的列的数据。而这种节省扫描量的效果只有当底层的数据是以列存的形式存储才能达到。示例代码如下。SELECT col1 FROM tbl...
数据归档
功能优势 开启RDS MySQL通用云盘的数据归档OSS功能后，借助OSS海量、安全、低成本、高可靠的特性，用户能够在RDS MySQL上实现极低成本的归档数据存储，在具备InnoDB事务能力之上支持低频的数据访问，数据存储成本相较于ESSD PL1云盘下降80%...
DELETE
DELETE语法用于按行删除宽表中的数据或删除时序表中指定条件下的时间线。引擎与版本 DELETE语法适用于宽表引擎和时序引擎。时序引擎3.4.19及以上版本支持删除时间线。如何查看或升级当前版本，请参见 时序引擎版本说明 和 升级小版本。宽表...
Bucket Shuffle Join
Shuffle Join：Shuffle Join会根据哈希计算，将A、B两张表的数据分散到集群的节点之中，所以这次操作的网络开销为 A表数据量+B表数据量，内存开销为B表数据量。FE中保存了SelectDB每个表的数据分布信息。如果Join语句命中了表的数据分布列...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
ots:CreateTable 根据给定的表结构信息创建相应的数据表。ots:DeleteTable 删除本实例下指定的表。ots:GetRow 根据指定的主键读取单行数据。ots:PutRow 插入数据到指定的行。ots:UpdateRow 更新指定行的数据。ots:DeleteRow 删除一行数据。...
BLOB数据类型（邀测中）
DDL 您可以在创建表或修改表时，指定相关列的数据类型为BLOB。执行以下语句，创建表tb并指定p1为主键列且类型为INT，c1列和c2列为非主键列，且类型分别为VARCHAR和BLOB。CREATE TABLE tb(p1 INT,c1 VARCHAR,c2 BLOB,PRIMARY KEY(p1));说明 ...
概述
给定表的每行具有相同的一组指定的列，并且每列具有特定数据类型。虽然每行中的列具有固定顺序，但请务必记住，SQL不以任何方式保证表中的行顺序（但可以为显示而显式排序行）。表分组到数据库中，并且由单个 PolarDB PostgreSQL版（兼容...
使用MaxCompute控制台（离线）
目标表 根据需要选择将数据上传至已有表还是新建表：已有表：配置方式请参见 表2 上传数据至已有表。新建表：配置方式请参见 表3 上传数据至新建表。表 2.上传数据至已有表 参数名 描述 选择目标表 在下拉列表中选择存放待上传数据的...
使用数据探索查询Iceberg表
目前DLF数据探索可以直接支持Delta、Hudi、CSV、Parquet、JSON、ORC等格式的表；受限于Spark和Iceberg的底层设计，在DLF数据探索中查询Iceberg表需要指定特定的Catalog。准备工作 已开通DLF，并创建了 元数据库。通过 元数据发现/入湖任务...
导出结构和数据
仅导出数据：仅导出表/视图对象的数据。仅导出结构：仅导出数据库对象的定义语句。导出文件格式 ODC 导出工具会将导出数据到以.zip 结尾的压缩文件包中，压缩包中包含元数据文件 MANIFEST.bin 和 Schema 下导入导出对象的结构定义文件和...
算子级别诊断结果
表扫描数据量倾斜 问题 AnalyticDB MySQL版 是分布式执行架构，大表的数据一般需要指定分布字段，数据写入时根据分布字段分散到不同的存储节点上。如果分布字段的值分布不均匀，那么数据存储在各个节点上时也会不均匀，最终导致数据读取时...
Purge
清除当前表或者整个项目下所有表的备份数据，清除后不可以恢复。注意事项 表的备份数据被清除后...table_name：指定清除备份数据的表名称。清除当前项目下所有表的备份数据：purge all;相关命令 SHOW HISTORY FOR TABLES：查看表的备份信息。
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
逻辑库
背景信息 分库分表场景下，业务数据按照路由算法分散到多个物理库的若干张表中，通常存在以下问题：对数据进行查询、分析比较困难，通常需要遍历查询所有的表才能找到想要的数据。在分库分表中，增加、减少一个字段的工作量很大。DMS提供的...
Tunnel操作
类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加模式导入。具备修改表权限（Alter）的用户。本文中的命令您需要在 MaxCompute客户端 执行。下载数据 将MaxCompute表数据或指定Instance的执行结果下载至...
读数据表
选择输入表 选择需要读取的数据表。配置输出 配置需要输出到下个节点的字段。分区配置（可选）对于支持分区的计算资源（如MaxCompute、Hive），在 分区配置 中，可以读取指定分区的数据。分区字段：分区表中用于分区的字段。分区值类型：...
新建元表
在 SQL导入 对话框中，编写SQL代码：说明 Dataphin 将根据您的数据源类型提示对应的参考示例，您可在窗口中单击参考示例 查看对应代码示例。完成代码编写后，您可单击格式化，一键调整您的代码的格式。若您勾选 同时导入with参数中的参数值...
新建元表
在 SQL导入 对话框中，编写SQL代码：说明 Dataphin 将根据您的数据源类型提示对应的参考示例，您可在窗口中单击参考示例 查看对应代码示例。完成代码编写后，您可单击格式化，一键调整您的代码的格式。若您勾选 同时导入with参数中的参数值...
VALUES
如果需要向表中插入少量数据，您可以通过 insert…values 或 values table 操作向数据量小的表中插入数据。执行 insert into 操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请参见 授权。本文中的...
VALUES
如果需要向表中插入少量数据，您可以通过 insert…values 或 values table 操作向数据量小的表中插入数据。执行 insert into 操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请参见 权限列表。本文...
数据质量入门
通常，为保障周期调度产出的表数据符合预期，建议该分区表达式的取值与当天周期调度产出的表分区一致。说明 单表可多次执行添加操作，配置多个分区表达式，校验多个分区数据。在表规则配置页面，单击 图标。在 添加分区 对话框输入分区表达...
数据管理
不支持展示系统库Information_schema和 AnalyticDB MySQL 的数据。操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 湖仓版（3.0）页签下，单击目标 集群ID。在左侧...
API概览
ListUserRoles 获取单个User的数据湖角色列表 获取单个User的数据湖角色列表。ListPermissions 获取权限列表 获取权限列表。CheckPermissions 对User权限进行校验 对User权限进行校验。GetCatalogSettings 获取数据湖Catalog的配置 获取...
Spark SQL
当用户创建一个表时，指定的表的 LOCATION 必须是库的 LOCATION 的子文件夹。当用户为添加表的 PARTITION 时，指定的 PARTITION LOCATION 必须是表的 LOCATION 的子文件夹。当用户 RENAME PARTITION ` 时，并不会改变其在OSS上的路径结构。...
RDS MySQL如何使用Percona Toolkit
source：指定要被归档的数据源。charset=utf8：使用的字符集，需与表字符集一致，否则指定-no-check-charset参数。file：指定目标操作系统文件名。where"id>3008"：指定where过滤条件，过滤出要归档的数据。limit 1000：每条语句读取和归档...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
创建Kudu数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
分区表命令列表
ALTER TABLE…EXCHANGE PARTITION 用一个分区或子分区交换现有的表。ALTER TABLE…MOVE PARTITION 将分区或子分区移动到不同的表空间中。ALTER TABLE…RENAME PARTITION 重命名表分区。ALTER TABLE…SPLIT PARTITION 将一个分区划分为两个...
PostgreSQL数据源
否 无 where 筛选条件，PostgreSQL Reader根据指定的 column、table 和 where 条件拼接SQL，并根据该SQL进行数据抽取。例如在测试时，您可以使用where条件指定实际业务场景，通常会选择当天的数据进行同步，指定where条件为 id>2 and sex=1...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
使用Tunnel命令或Tunnel SDK
可以继续上一次的数据上传操作，但Resume命令暂时不支持下载操作。更多信息请参见 Resume。使用Tunnel命令上传数据的具体操作请参考 Tunnel命令。使用Tunnel SDK上传数据 Tunnel SDK的主要接口有TableTunnel、TableTunnel.UploadSession、...
Spark Connector
背景信息 使用Spark引擎调用MaxCompute的Storage API处理MaxCompute数据，满足您数据开放、多引擎使用场景，同时Spark结合MaxCompute的数据存储能力，可以实现高效、灵活和强大的数据处理和分析能力。阿里云提供了Spark Connector来简化...
DELETE
本文介绍删除时空数据表中的时空数据语法。语法 delete_statement:=DELETE FROM table_name WHERE where_clause 说明 Where_Clause必须可以唯一限定一行数据。语法限制 DELETE的WHERE子句中，必须给出能够唯一定位一行数据的完备主键条件。...
管理数据源
您可以根据数据源的类型进行筛选，快速查找指定类型的数据源，也可以通过右上角的搜索框模糊搜索指定数据源。单击目标数据源的 数据源标识，查看该数据源的详细信息。复制数据源 在 OceanBase 管理控制台的左侧导航栏，单击 数据传输>数据...
多表连接
交叉连接：如果不指定连接条件，返回左表和右表的 笛卡尔积，返回的数据行数为左表的行数乘以右表的行数。如果指定连接条件，则返回左表和右表中连接字段相等的记录（与内连接的效果相同）。说明 1、除了交叉连接外，其它类型的连接必须...
- 产品推荐
- 这些文档可能帮助您