JindoTable表或分区访问冷度收集
第二列为分区名字，格式：第一分区列=列值/第二分区列=列值/.，如果表为非分区表则为空。第三列为最近一次访问的时间，格式：yyyy-MM-dd HH:mm:ss。说明 如果为分区表，则只显示到分区级别，表本身不会单独显示。JindoTable使用详情，请...
JindoTable SDK模式归档和解冻命令介绍
待归档的数据必须是表数据（可以是分区表或非分区表），且已经位于阿里云对象存储OSS。背景信息 JindoTable原有archive和unarchive命令可以对OSS上的表或分区进行归档或解冻等操作，但archive和unarchive命令依赖SmartData组件Jindo ...
MULTI INSERT
单条 multi insert 语句中，对于非分区表，不允许多次INSERT OVERWRITE数据至同一个表，也不允许INSERT OVERWRITE和INSERT INTO数据至同一个表，但是可以多次INSERT INTO数据至同一个表。命令格式 from<from_statement>insert overwrite|...
PHP访问（2.0版）
分析型数据库MySQL版端口号，可从分析型数据库MySQL版控制台获取端口号/连接云原生数据仓库AnalyticDB MySQL版2.0集群$ads_conn=mysqli_connect($ads_server_name,$ads_username,$ads_password,$ads_database,$ads_port);strsql="SELECT ...
Hologres数据源
Reader脚本Demo 配置非分区表 配置从Hologres非分区表读取数据至内存，如下所示。{"type":"job","version":"2.0",/版本号。steps":[{"stepType":"holo",/插件名。parameter":{"endpoint":"instance-id-region-endpoint.hologres.aliyuncs...
DML语句
INSERT INTO 表示向分区表或非分区表插入数据。代码示例如下所示：向非分区表 h0 中插入数据。insert into h0 select 1,'a1',20;向静态分区表 h_p0 中插入数据。insert into h_p0 partition(dt='2021-01-02')select 1,'a1';向动态分区表 h_...
通过SQL导出数据至MaxCompute
非分区表导出至MaxCompute非分区表 准备Hologres数据源表。在Hologres中准备一张数据表，用于将数据导出至MaxCompute。示例选择已有表其DDL如下：BEGIN;CREATE TABLE"public"."bank"("age"int8,"job"text,"marital"text,"education"text,...
管理MaxCompute Catalog
使用MaxCompute Catalog 通过Catalog创建MaxCompute物理表 通过Flink SQL DDL，在MaxCompute Catalog中创建表时，会自动在对应的MaxCompute项目中创建对应的物理表，并自动将Flink中的类型转换为MaxCompute中的类型，支持创建非分区表和...
创建EMR表
物理分类 分区类型 包括 分区表 和 非分区表。表类型 包括 内部表 和 外部表。选择存储格式 根据需要选择表中文件的存储格式。在 表结构设计 区域，配置各项参数。参数 描述 添加字段 单击 添加字段，配置字段信息后，单击 保存，即可新增...
自动化管理分区
示例如下：创建一个与分区表相同表结构的非分区表来做exchange,DDL结束后分区数据会被交换出去，原来的分区会变为空分区。DELIMITER|CREATE EVENT IF NOT EXISTS exchange_partition ON SCHEDULE EVERY 1 DAY STARTS '2022-05-21 02:00:00'...
批式读写
建表并写入数据 Scala/非分区表 data.write.format("delta").save("/tmp/delta_table")/分区表 data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")SQL-非分区表 CREATE TABLE delta_table(id INT)USING delta ...
拆分
输出表2为非分区表 fraction 否 切分至输出表1的数据比例，取值范围为(0,1)。无 randomSeed 否 随机数种子，取值范围为正整数。系统自动分配 idColName 否 ID列（ID相同的数据不会被拆分）无 thresholdColName 否 阈值所在列名，不支持...
动态过滤器（Dynamic Filter）
动态分区裁剪（Dynamic Partition Pruning）上述Bloom Filter或Range Filter的例子是基于非分区表的优化，即JOIN Key是非分区列。当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute...
动态过滤器（Dynamic Filter）
动态分区裁剪（Dynamic Partition Pruning）上述Bloom Filter或Range Filter的例子是基于非分区表的优化，即JOIN Key是非分区列。当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute...
全局索引
全局索引（Global Index）是分区表上的一种索引技术，可以创建在分区表的非分区键上，也支持提供唯一约束。背景信息 分区表的Local Index，指每个分区都以一个Local Index分区，Local Index的分区规则和表的分区规则保持一致，因此Local ...
DDL语句
创建非分区表的示例如下所示：创建表类型为 cow，主键为 id 的非分区表。create table if not exists h0(id bigint,name string,price double)using hudi options(type='cow',primaryKey='id');创建表类型为 mor，主键为 id 和 name 的非...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作以及如何将表转换为DataFrame对象。背景信息 PyODPS提供对MaxCompute表的基本操作方法。操作 说明 基本操作 列出项目空间下...
分层存储
使用示例 示例一：设置非分区表的存储类型为低频存储。ALTER TABLE tablename SET TBLPROPERTIES("storagetier"="lowfrequency");查看表属性，可以通过 StorageTier 字段确认当前的存储类型。查看表属性 DESC extended tablename;返回结果...
概述
图中 wc_in1 为非分区表，wc_in2 为分区表。data 文件采用标准CSV格式存储表的数据：特殊字符为逗号（,）、单个双引号（"）和换行符（或 \r）。列分隔符为逗号（,），行分隔符为换行符（或 \r）。如果列内容包含特殊字符，需要在该列内容...
创建表
本文提供的数据文件样例如下：创建非分区表的数据文件：banking.txt。创建分区表的数据文件：banking_nocreditcard.csv、banking_uncreditcard.csv 和 banking_yescreditcard.csv。如果是RAM用户创建表，请确认阿里云账号已经授予RAM用户...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
对于非分区表的拷贝或迁移，目标目录即为表级别目录；对于分区表，目标目录为待拷贝或移动分区的分区级目录，只需对待拷贝的分区进行清理。出现原因 如果该命令被异常中止，则可能出现需要主动干预的情况。此时拷贝还未完成，源数据与表的...
CLONE TABLE
创建分区表sale_detail和非分区表sale_detail_np，并添加数据，命令示例如下：分区表sale_detail-创建一张分区表sale_detail。create table if not exists sale_detail(shop_name string,customer_id string,total_price double)...
CLONE TABLE
创建分区表sale_detail和非分区表sale_detail_np，并添加数据，命令示例如下：分区表sale_detail-创建一张分区表sale_detail。create table if not exists sale_detail(shop_name string,customer_id string,total_price double)...
Check节点
支持检查的对象及检查策略 Check节点目前仅支持检查 MaxCompute分区表、FTP文件 及 OSS文件，不支持检查 MaxCompute非分区表。检查策略如下：MaxCompute分区表 Check节点提供了如下两种检查策略，辅助您判断MaxCompute分区表数据是否已达到...
Python SDK示例：Table
对于非分区表，需要调用 table.truncate()，对于分区表，需要删除分区后再建立。使用Arrow格式读写数据 Apache Arrow是一种跨语言的通用数据读写格式，支持在各种不同平台间进行数据交换。自2021年起，MaxCompute支持使用Arrow格式读取表...
执行MaxCompute SQL语句
示例操作将Hologres中非分区数据导入至MaxCompute非分区表。具体如下：在Hologres准备一张Hologres内部表（例如：holo_table），用于导出数据至MaxCompute，示例DDL和数据如下：create table"public"."holo_table"("id"int4,"name"text);...
上下游存储
引用MaxCompute作为数据源，在作业启动后，向已有的分区或者表里追加数据，这些新数据是否能被全量MaxCompute或增量MaxCompute源表读取？全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点...
DELETE
DELETE操作用于删除Transactional分区表或非分区表中满足指定条件的单行或多行数据。前提条件 执行 delete、update 操作前需要具备目标Transactional表的读取表数据权限（Select）及更新表数据权限（Update）。授权操作请参见 权限列表。...
调试指南
这些操作包括：非分区表：对其进行选取全部或有限条数据、列筛选的操作（不包括列的各种计算），以及计算其数量。不选取分区或筛选前几个分区字段的分区表：对其选取全部或有限条数据、列筛选的操作，以及计算其数量。例如 iris 这个...
Quick BI（2.0版）
单击 新建数据源>分析型数据库MySQL版。在 AnalyticDB DB添加数据源 页面进行参数配置。配置项 说明 显示名称 数据源名称。数据库地址 分析型数据库MySQL版的连接地址。端口 连接地址对应的端口号。数据库 分析型数据库MySQL版的名字。...
备份与恢复
概述 MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。备份与恢复功能具备以下特点：默认开启，不需要手动...
MaxCompute数据源
done表添加的分区必须是数据表中存在的分区，若数据表的分区有、ds="20220114"、ds="20220115"、ds="20220116"，那么done表新加的分区也必须在数据表分区范围内；done表在插入数据时，attribute字段值为字符串类型的JSON串，如 {"swift_...
MaxCompute数据源
done表添加的分区必须是数据表中存在的分区，若数据表的分区有、ds="20220114"、ds="20220115"、ds="20220116"，那么done表新加的分区也必须在数据表分区范围内；done表在插入数据时，attribute字段值为字符串类型的JSON串，如 {"swift_...
表格存储和传统关系型数据库（例如MySQL、SQL Server...
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务，与传统关系型数据库（RDBMS，例如MySQL、SQL Server）在数据模型和技术实现上都有较大的区别。表格存储和传统关系型数据库的主要区别如下：...
对象存储OSS
写非分区表 CREATE TABLE datagen_source(user_id STRING,order_amount DOUBLE)WITH('connector'='datagen');CREATE TEMPORARY TABLE fs_table_sink(user_id STRING,order_amount DOUBLE)WITH('connector'='filesystem','path'='oss:/...
将AI模型推理结果写回数据库
图1 原表 图2 AAT 在关系型数据库中引入并使用AAT会带来很多便捷之处。比如：对用户群体的划分、销售量的预测以及基于大模型生成内容等，都可以通过AAT在数据库中进行存储、计算和使用。AAT作为数据库外表，在使用上和数据库里面其他的表...
数据质量入门
数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据...
分区表系统视图
PolarDB PostgreSQL版（兼容Oracle）提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。ALL_PART_TABLES 返回字段说明 列名 描述 owner 表的所有者。schema_name 表所在的schema。table_name 表名。partitioning_type ...
配置AnalyticDB MySQL 2.0数据源
准备工作 在分析型数据库MySQL版中创建数据库、表组和表。详情请参见 快速入门-开通分析型数据库MySQL版服务、创建表组 和 创建表。重要 分析型数据库MySQL版中的表需要创建成实时表（普通表），通过实时导入效率高而且流程简单。操作步骤 ...
分区表扫描算子
背景信息 对数据库的分区表进行扫描时，优化器会对每个子分区生成最优的执行计划，然后通过Append算子将子分区的执行计划串联起来，作为分区表扫描的最优执行计划。如果子分区的数量不多，上述过程将会快速完成。然而，PolarDB PostgreSQL...
- 产品推荐
- 这些文档可能帮助您