配置数据质量监控
规则模板 请选择 表行数，固定值。比较方式 请选择 大于。期望值 设置为0，即比较方式为期望值大于0。试跑质量规则。单击 试跑，进入试跑对话框。在 试跑 对话框中，选择 调度时间 和 资源组，单击 试跑。试跑完成后，可根据界面指引查看...
最佳实践：SQL组件
已在 ODPS SQL 节点中创建好输入表和输出表，建表语句请参见 附录：表结构说明。步骤一：定义组件 您需先参考 定义SQL组件 创建 get_top_n 组件，组件配置详情如下。组件参数配置 参数分类 参数名称 参数类型 参数描述 参数定义 输入参数 ...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
数据分层存储
分区表 创建分区表的存储策略 分区表也可以通过 SET_TABLE_PROPERTY 来设置表的存储策略，分区子表默认继承父表的存储属性，也可以分别设置父表和子表的存储策略。支持的选项有：hot（热存储）。cold（冷存储）。例如将分区父表（tbl2）...
创建OSS Schema和表
在DLA中创建OSS Schema和表即可读取OSS中的文件数据。创建Schema 登录 DLA控制台。单击左侧导航栏的访问点管理，然后登录DMS，在DLA中创建OSS Schema的语法如下所示：CREATE SCHEMA oss_data_schema with DBPROPERTIES(catalog='oss',...
功能更新动态（2024年）
逻辑表和指标创建成功后，默认授予逻辑表及指标创建人查询权限。创建原子指标 维度逻辑表概述 新建事实逻辑表 实时研发 Flink CDC抽取MongoDB时支持过滤delete操作。Flink SQL任务支持通过数据源编码的方式直接访问Oracle、StarRocks数据源...
2021年
2021-12-03 全部地域 参考：渐进式计算 MaxCompute物化视图功能增强 MaxCompute物化视图支持创建分区和聚簇，在查询物化视图时如果发现有分区数据不存在物化视图中时，可以设置系统自动穿透去查询源表，并返回源表和物化视图的汇总数据。...
Flink VVP+DLF数据入湖与分析实践
创建数据源表和目标表。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 作业开发。在 作业开发 页面，创建一个新的流SQL作业，执行如下代码。catalog名为步骤一创建的dlf catalog name，本例中填dlf ...
文档更新动态（2024年）
使用该语句，支持读取逻辑表和进行表鉴权。更新说明 上传资源及引用 数据开发-规范建模/编码研发 开发环境下，逻辑表数据预览变量参数值优化，本地变量的参数值默认填充参数配置中已配置的值，日期时间全局变量取当前最新值。开发环境下...
创建映射关系
说明 关于create table语句的更多信息，请参见 创建表的映射关系 和 创建多元索引的映射关系。前提条件 已初始化Client。具体操作，请参见 初始化。参数 参数 说明 query SQL语句，请根据所需功能进行设置。示例 说明 此处以创建表的映射...
CREATE VIEW
query 定义视图的行和列结构，需要使用一个 SELECT 或 VALUES 语句。WITH[CASCADED|LOCAL]CHECK OPTION CHECK OPTION 控制视图是否应确保 INSERT 和 UPDATE 操作产生的新行满足视图定义的条件，即新行必须对视图可见。如果新行违反了这些...
SETPROJECT
Inherit：创建表时，如果不设置表的生命周期，则该表的生命周期为 odps.table.lifecycle.value 的值。CREATE TABLE SQL Project odps.table.lifecycle.value 设置表的生命周期。单位：天。取值范围：1~37231，默认值为37231。CREATE TABLE ...
创建Tablestore Sink Connector
本文介绍如何创建使用Tablestore Sink Connector，您可通过Tablestore Sink Connector将数据从 云消息队列 Kafka 版 实例的数据源Topic导出至Tablestore的表中。前提条件 创建资源及授权策略，请参见 创建前提。创建Connector时生成的函数...
CREATE SCHEMA
Hologres支持跨Schema创建表。本文为您介绍如何在Hologres中创建Schema，以及跨Schema创建表。背景信息 Hologres兼容PostgreSQL，支持的Schema功能与PostgreSQL相同。Hologres新增Schema功能后，表的存储结构由 database.table 变为 ...
创建映射关系
说明 关于create table语句的更多信息，请参见 创建表的映射关系 和 创建多元索引的映射关系。前提条件 已初始化Client。具体操作，请参见 初始化。参数 参数 说明 query SQL语句，请根据所需功能进行设置。示例 说明 此处以创建表的映射...
实施步骤
步骤一：创建OSS Schema和表 在DLA中创建OSS Schema和表。示例如下：/创建OSS Schema。CREATE SCHEMA my_schema_name WITH DBPROPERTIES(CATALOG='oss',LOCATION='oss:/bucket_name/workshop_sh/');创建交易记录表。CREATE EXTERNAL TABLE ...
创建同步RDS/MySQL/ADS3.0
即 REPLACE INTO 写入 VpcId和实例ID当用户的RDS处于VPC网络时，需要填写对应的VpcId信息和RDS实例信息 同步示例 创建RDS实例和表结构在RDS管控台中创建RDS实例和数据表，如下图所示：建立DataHub Topic在DataHub中建立Topic，示例中为...
基于Hadoop集群支持Delta Lake或Hudi存储机制
步骤二：准备数据 登录集群后，可以通过Spark SQL方式创建Delta Lake表和Hudi表。E-MapReduce的Hudi 0.8.0版本支持Spark SQL对Hudi进行读写操作，详情请参见 Hudi与Spark SQL集成。本文以创建Hudi表为例，在终端输入如下命令启动spark-sql...
通过控制台使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time to Live...
通过SDK使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询与分析数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time ...
CreateBenchmarkTask-创建压测任务
表 2.service 描述表 当您需要通过访问网关的模式创建压测任务时，需要 提交工单 开通白名单权限。参数 说明 serviceUrl【可选】待压测服务的访问 URL，如果待压测服务是 EAS 服务，无需配置。serviceName【可选】待压测服务的服务名，如果...
5.6/5.7/8.0版功能对比
多主集群（库表）多可用区部署架构 ✔️ ✔️ 手动更换可用区 ✔️ ❌ 自动切换可用区 ✔️ ❌ 多节点部署架构 和 自动/手动主备切换 ✔️ ✔️ 多主集群（库表）功能 集群版 多主集群（库表）多主集群（库表）使用说明 ❌ ✔️ 增加或删除...
创建多元索引
} 参数 创建多元索引时，需要指定数据表名称（tableName）、多元索引名称（indexName）和索引的结构信息（indexSchema）和timeToLive（数据生命周期），其中indexSchema包含fieldSchemas（Index的所有字段的设置）、indexSetting（索引设置...
创建映射关系
说明 关于create table语句的更多信息，请参见 创建表的映射关系 和 创建多元索引的映射关系。前提条件 已初始化Client.具体操作，请参见 初始化。参数 参数 说明 query SQL语句，请根据所需功能进行设置。示例 说明 此处以创建表的映射...
本地IDC通过ECMP链路聚合方式连接上云
步骤四：连接VPC实例和VBR实例 您需要在华东2（上海）地域的转发路由器中创建与物理专线关联的VBR连接和需要互通的VPC连接，实现本地IDC和VPC的私网互通。登录 云企业网管理控制台。在 云企业网实例 页面，找到目标云企业网实例，单击目标...
2019年
本文为您介绍了MaxCompute 2019年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。2019年12月更新记录 时间 特性 类别 描述 产品文档 2019-12-31 新增Oracle数据迁移...
创建表
odps@doc_test_dev>在MaxCompute客户端，创建表bank_data、bank_data_pt、result_table1和result_table2。更多创建表语法，请参见 创建表。创建非分区表bank_data，命令示例如下。create table if not exists bank_data(age BIGINT comment...
Hive基础操作
本文介绍如何通过Hive在E-MapReduce集群上创建库和表等操作。前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。进入Hive命令行 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，切换为hadoop用户。su-hadoop 执行...
插入数据
简介 当一个表被创建后，它不包含数据。在数据库可以有点用之前要做的第一件事就是向里面插入数据。数据在概念上是以每次一行地方式被插入的。你当然可以每次插入多行，但是却没有办法一次插入少于一行的数据。即使你只知道几个列的值，...
时序表操作
更多信息，请参见 创建表。以下示例用于创建名称为mytable的时序表，表中数据永不过期。create-m timeseries-t mytable-ttl-1 执行表操作前，您需要执行 use 命令选择要使用的表。更多信息，请参见 使用表。以下示例用于使用mytable时序表...
FeatureStore最佳实践
为方便实践操作，我们在MaxCompute的 pai_online_project 项目中提前准备了模拟生成的用户表、物料表和Label表进行示例说明。其中，用户表、物料表每个分区大约有10万条数据，在MaxCompute中分别占用约70 MB；Label表每个分区约45万条数据...
PolarDB MySQL版8.0.2版本发布日志
支持将带有自增列的分区表和普通表归档至OSS。联邦查询引擎支持将Order语法下推至远端数据库，Order语法与Limit Offset结合使用以降低网络代价。支持在混合分区表（InnoDB+ORC）上创建列存索引。新增 ALTER TABLE table_name CHANGE ...
导出至HDFS
创建带分区的外部映射表时（本文示例中目标表名为 hdfs_import_external_par），需要同时在创建语句中定义普通列（如 uid 和 other）和分区列（如 p1、p2 和 p3），语法如下。CREATE TABLE IF NOT EXISTS hdfs_import_external_par(uid ...
功能更新动态（2022年）
2022年10月25日 华北2（北京）数据开发概述 2022年10月27日 华东1（杭州）2022年11月01日 华南1（深圳）2022年11月03日 华东2（上海）逻辑表DML支持部分字段insert和动态分区。2022年10月25日 华北2（北京）创建并配置普通维度逻辑表、创建...
API列表
UpdateOTAJob 更新静态升级批次和动态升级批次的配置。ListOTAJobByFirmware 获取升级包下的升级批次列表。ListOTAJobByDevice 获取设备所在的升级包升级批次列表。ListOTATaskByJob 查询指定升级批次下的设备升级作业列表。QueryOTAJob ...
DELETE
在创建表时，不支持将聚簇表、外部表设置为Transactional表。不支持MaxCompute内部表、外部表、聚簇表与Transactional表互转。不支持其他系统的作业（例如MaxCompute Spark、PAI、Graph）访问Transactional表。不支持 clone table、merge ...
创建映射关系
说明 关于create table语句的更多信息，请分别参见 创建表的映射关系 和 创建多元索引的映射关系。前提条件 已初始化Client。具体操作，请参见 初始化。参数 参数 说明 query SQL语句，请根据所需功能进行设置。示例 使用 create table ...
多语言版本分片模型
背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如分库分表中固定1024张表，需要若干台机器分布式去处理。动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式...
SQL查询介绍
表 表 由行和列组成。索引 二级索引、多元索引 为加速数据查询而创建的一种存储结构。功能特性 SQL功能 支持单次请求单条SQL。支持基础的DDL语句，主要包括 创建表的映射关系、创建多元索引的映射关系、更新映射表属性列、删除映射关系 和 ...
云监控的审计事件
PutMonitorGroupDynamicRule 为应用分组创建或修改动态报警规则。PutMonitoringConfig 设置云监控插件的全局配置。PutPersonalConfig 创建用户个性化设置。PutResourceMetricRule 对单个资源的性能指标设置阈值报警规则。...
- 产品推荐
- 这些文档可能帮助您