MaxCompute数据源
done表添加的分区必须是数据表中存在的分区，若数据表的分区有、ds="20220114"、ds="20220115"、ds="20220116"，那么done表新加的分区也必须在数据表分区范围内；done表在插入数据时，attribute字段值为字符串类型的JSON串，如 {"swift_...
MaxCompute数据源
done表添加的分区必须是数据表中存在的分区，若数据表的分区有、ds="20220114"、ds="20220115"、ds="20220116"，那么done表新加的分区也必须在数据表分区范围内；done表在插入数据时，attribute字段值为字符串类型的JSON串，如 {"swift_...
MaxCompute+API 数据源
done表添加的分区必须是数据表中存在的分区，若数据表的分区有、ds="20220114"、ds="20220115"、ds="20220116"，那么done表新加的分区也必须在数据表分区范围内；done表在插入数据时，attribute字段值为字符串类型的JSON串，如 {"swift_...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
分区表系统视图
PolarDB PostgreSQL版（兼容Oracle）提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。ALL_PART_TABLES 返回字段说明 列名 描述 owner 表的所有者。schema_name 表所在的schema。table_name 表名。partitioning_type ...
数据质量入门
步骤二：创建质量规则 确定校验的表分区后，需为其创建校验该表分区数据的质量规则。您可直接使用数据质量提供的模板规则，也可自定义规则。DataWorks支持自定义规则强弱，控制规则产生的影响，当数据质量校验不符合预期时，用于决定是否...
将AI模型推理结果写回数据库
图1 原表 图2 AAT 在关系型数据库中引入并使用AAT会带来很多便捷之处。比如：对用户群体的划分、销售量的预测以及基于大模型生成内容等，都可以通过AAT在数据库中进行存储、计算和使用。AAT作为数据库外表，在使用上和数据库里面其他的表...
分区表扫描算子
背景信息 对数据库的分区表进行扫描时，优化器会对每个子分区生成最优的执行计划，然后通过Append算子将子分区的执行计划串联起来，作为分区表扫描的最优执行计划。如果子分区的数量不多，上述过程将会快速完成。然而，PolarDB PostgreSQL...
分区表扫描算子
背景信息 对数据库的分区表进行扫描时，优化器会对每个子分区生成最优的执行计划，然后通过Append算子将子分区的执行计划串联起来，作为分区表扫描的最优执行计划。如果子分区的数量不多，上述过程将会快速完成。然而，PolarDB PostgreSQL...
表格存储和传统关系型数据库（例如MySQL、SQL Server...
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务，与传统关系型数据库（RDBMS，例如MySQL、SQL Server）在数据模型和技术实现上都有较大的区别。表格存储和传统关系型数据库的主要区别如下：...
读数据表
参数 分区参数，通过该参数来过滤分区表数据。同时筛选多个分区使用半角逗号（,）分隔。如果未配置该参数，则表示输入全表。例如：动态分区表，输入格式为 dt=${yyyyMMdd}，其中${yyyyMMdd} 是系统参数，表示当前日期，${yyyyMMdd-1d} 表示...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
配置AnalyticDB MySQL 2.0数据源
准备工作 在分析型数据库MySQL版中创建数据库、表组和表。详情请参见 快速入门-开通分析型数据库MySQL版服务、创建表组 和 创建表。重要 分析型数据库MySQL版中的表需要创建成实时表（普通表），通过实时导入效率高而且流程简单。操作步骤 ...
如何使用表分区？
对于数据库中的事实表以及一些比较大的表，建议您使用表分区。使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以...
可视化管理内部表、外部表或视图
表数据：在图示下方区域，设置 Partitions（分区表需要设置，非分区表不涉及）及 Preview rows（预览数据行数）后，单击 Data Preview 即可查看表数据。查看视图的详细信息 在目标MaxCompute项目的 Tables&Views 下，双击视图名或在视图...
INSERT
插入分区表数据。示例：在public schema下创建不带主键的分区父表和对应的分区子表 BEGIN;CREATE TABLE public.hologres_parent(a text,b int,c timestamp,d text)PARTITION BY list(a);CALL set_table_property('public.hologres_parent',...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
Tunnel SDK常见问题
问题现象 使用Tunnel SDK下载分区表数据，返回如下报错。ErrorCode=MissingPartitionSpec,ErrorMessage=You need to specify a partitionspec along with the specified table.产生原因 使用Tunnel SDK下载分区表数据时，需要指定分区列的...
新建并启用物理表质量检查计划
用来设置，包含分区字段的待检查物理表分区数据产出的检测时间，保证分区的数据无遗漏。检查周期 当选中 分区产出检测 参数时，才出现该选项。用来设置待检查的物理表中分区数据 产出时间 的检测周期。新建完质量检查计划后，单击 操作 列...
新建并启用物理表质量检查计划
用来设置，包含分区字段的待检查物理表分区数据产出的检测时间，保证分区的数据无遗漏。检查周期 当选中 分区产出检测 参数时，才出现该选项。用来设置待检查的物理表中分区数据 产出时间 的检测周期。新建完质量检查计划后，单击 操作 列...
节点/数据库/表/分区/二级分区
介绍节点、数据库、表、分区表和二级分区的概念。节点 在HybridDB for MySQL中，节点是一个资源单位（比如当前C2规格对应：8 Core 32GB Memory 512GB SSD）。当前在阿里云的控制台中最多能够购买64个节点，如果有需要更多节点，可以通过...
TRUNCATE TABLE
TRUNCATE TABLE 用于清空表数据或者表分区数据。语法 清空表数据。TRUNCATE TABLE db_name.table_name;清空表中的指定分区。TRUNCATE TABLE db_name.table_name PARTITION partition_name[,.];分区名的数据类型为bigint，您可以通过以下SQL...
Check节点
策略二：检查目标分区在指定时长是否有更新 若Check节点检查到MaxCompute分区表的目标分区在指定时长内未更新，则表示该分区的数据已产出完成，平台即认为MaxCompute分区表数据已可用。FTP文件或OSS文件 若Check节点检查到目标FTP文件或OSS...
确认表血缘
若上游节点产出的表分区值与下游节点依赖的表分区不匹配，您可根据业务需要综合考量，是否需要修改节点的调度参数配置，以此方式实现节点产出的表分区与节点依赖的表分区数据相匹配。若需依赖上游节点上一周期产出的表分区数据，您可考虑...
写入数据到分区表
创建OSS分区表后，可以通过INSERT OVERWRITE重写OSS数据。本文介绍如何写入数据到分区表。步骤一：创建Schema 登录 DLA控制台。单击左侧导航栏的 Serverless Presto>SQL访问点。单击 登录到DMS，执行以下SQL创建OSS Schema。您也可以通过...
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
增强E-R
越来越多的系统设计采用应用系统来保障业务之间的依赖关系，导致数据库的外键信息并不会真正的沉淀到数据库外键设计上，不易通过实际数据库的外键信息看到业务数据表中的逻辑关系，进而影响您梳理数据库内的表之间真实的逻辑关系。...
5.6/5.7/8.0版功能对比
SQL防火墙 ✔️ 动态脱敏 ✔️ 数据库管理 功能 集群版 管理数据库 ✔️ 数据库代理企业版 功能 集群版 管理连接地址 ✔️ 连接数据库集群 ✔️ 私有域名 ✔️ 读写分离 ✔️ 配置数据库代理 ✔️ 过载保护 ✔️ 变更集群配置 功能 集群版 ...
写数据表
组件截图 二、参数说明 参数名称 参数说明 参与方 建模的数据输入分别位于己方和对方的数据库中，在任务中，将对应方的ID加入到【读数据表】/【写数据表】组件中。表名 希望进行联邦建模的数据表。分区 DataTrust允许多分区表的输入和输出...
通过联邦分析同步数据
开启高级配置后可配置 同步库表选择 和 大表分区键设置 参数。同步库表选择 您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
通过联邦分析功能同步至湖仓版
开启高级配置后可配置 同步库表选择 和 大表分区键设置 参数。同步库表选择 您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048...
名称解释
数据库 数据库（Database）是用户购买HybridDB for MySQL服务的基本单位。用户可以购买一个或多个不同规格的数据库。数据库在逻辑上由逻辑分区（Partition）组成，在物理上由物理节点（Node）组成。实例 实例（Instance）是数据库之上的...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
计费模式
元数据对象的存储量 元数据对象是指数据湖元数据中存储的数据库、表、分区和索引。计费规则，每月前100万个存储对象免费，超过100万后，超过100万的部分，每10万个对象收费5元/月，不足10万的按10万个收费。计费周期与出账周期，按月统计...
IMPORT PARTITION
本文档介绍了导入表分区TABLESPACE（ibd文件）的方法。语法 ALTER TABLE…IMPORT PARTITION 命令用于导入表分区的TABLESPACE（ibd文件）。ALTER TABLE table_name IMPORT PARTITION partition_name[,partition_name].TABLESPACE;说明 在...
读数据表
组件截图 二、参数说明 参数名称 参数说明 参与方 建模的数据输入分别位于己方和对方的数据库中，在任务中，将对应方的ID加入到【读数据表】/【写数据表】组件中。表名 希望进行联邦建模的数据表。分区 DataTrust允许多分区表的输入和输出...
INTERVAL RANGE简介
而对于INTERVAL RANGE分区表，当新插入的数据超过现有分区的范围时，允许数据库自动创建新分区，根据INTERVAL子句指定的范围来新增分区。如果分区范围设置为1个月，新插入的数据为当前转换点（当前存在的分区的最大边界值）两个月后的数据...
OceanBase 数据库 Oracle 租户至 Oracle 数据库的同步...
如果是 Oracle 数据库至 OceanBase 数据库等库到库的数据迁移或数据同步，OceanBase 数据库上的 PK 名称和 Oracle 数据库的不同，因此无法在 OceanBase 数据库中删除。迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle 数据库时，不支持...
- 产品推荐
- 这些文档可能帮助您