入门实践
设置后，您在引用数据标准时，数据类型、字段名称会沿用定义数据标准时定义的数据类型和字段名称。在左侧的数据模型下，右键单击 表>customer，选择 跳到当前主题。在右侧的数据视图页面，右键单击 customer 主题，选择 编辑字段。在 字段...
CREATE[PUBLIC]DATABASE LINK
其连接属性在edb_dblink条目中定义的服务器和数据库称为远程数据库。示例 创建OCI数据库连接。CREATE DATABASE LINK ora_dblink CONNECT TO admin IDENTIFIED BY 'mypassword' USING oci '/orachannel/acctg';创建postgres_fdw数据库连接。...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
功能简介
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
功能简介
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
数据标准
指标管理：支持指标类型数据元的定义和管理，可通过选择指标属性的方式，快速新建指标数据元，供逻辑表设计时进行使用。指标属性管理：支持指标定义的相关属性管理，包含时间修饰、业务修饰、度量属性，帮助快速新建指标数据元。数据字典...
离线同步常见问题
脏数据定义：单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。脏数据影响：脏数据将不会成功写入目的端。您可以控制是否允许脏数据产生，并且支持控制脏数据条数，数据集成默认...
升级数据库大版本
支持升级的数据库大版本以及如何升级数据库大版本，请参见 支持升级的数据库大版本 和 升级数据库大版本。在新实例上验证变更后的客户端，测试是否存在兼容性问题。如果出现兼容性问题，请根据报错信息再次检查并变更客户端代码，直到没有...
对象类型组成部分
通过使用SPL语言的对象类型规格和对象类型主体，创建对象类型并将其存储在数据库中。对象类型规格：这是指定对象类型的属性和方法特征的公共接口。对象类型主体：这包含对象类型规格中指定的方法的实现。以下各节介绍了用于创建对象类型...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
基本概念
栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题数据：每个栅格像元的值可以是一个测量值或分类值，如污染物浓度、降雨量、土地的权属类型或植被类型等。影像数据：又称遥感影像或遥感图像（Remote Sensing Image），是通过...
管理问题数据
支持保留问题数据的规则列表与问题数据口径 目前支持保留问题数据的监控规则，及各规则问题数据的定义，详情请参见：附录：支持保留问题数据的规则列表与问题数据口径。注意事项 目前仅MaxCompute表支持配置保留问题数据功能。目前仅部分...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
数据标准概述
数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、监管标准、行业标准、行内标准等内部及外部监管标准。业务方面：通过...
数据标准概述
数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准的定义必须符合公司的业务应用和管理需求，定义过程中需要参考国际标准、国家标准、监管标准、行业标准、行内标准等内部及外部监管标准。业务方面：通过...
数据服务概述
设计理念 数据服务作为DMS的模块，其基于DMS上受控的数据定义API，与SQL Console中执行SQL时的权限控制、数据脱敏等功能检查保持一致。数据服务基于Serverless架构，您无需关注服务器、网络等运行环境相关的基础设施，只需专注于API的定义...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
使用自定义镜像创建服务器
如果自定义镜像中包含数据盘数据，则数据盘的大小也不能小于自定义镜像中数据盘数据的大小。在轻量应用服务器创建完成前，请注意不要进行以下操作，否则将导致服务器创建失败：删除对应的自定义镜像。删除自定义镜像来源的快照。对自定义...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
数据消费格式
本文介绍实时数据订阅功能的数据消费格式定义说明和示例，默认格式为Debezium Format V2.0。数据消费定义说明 数据消费格式如下代码，字段说明如下表所示。{"payload":{"op":"u","ts_ms":1465491411815,"before":{"id":1004,"name":"Jane"}...
XML 类型
本文介绍了XML类型的定义及相关语法。xml 数据类型可以被用来存储 XML 数据。它比直接在一个 text 域中存储 XML 数据的优势在于，它会检查输入值的结构是不是良好，并且有支持函数用于在其上执行类型安全的操作。使用这种数据类型要求在...
概述
参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置 阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...
DROP TYPE
简介 DROP TYPE 移除一种用户定义的数据类型。只有一个类型的拥有者才能移除它。语法 DROP TYPE[IF EXISTS]name[,.][CASCADE|RESTRICT]参数 IF EXISTS 如果该类型不存在则不要抛出一个错误，而是发出一个提示。name 要移除的数据类型的名称...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
配置敏感数据分类分级
数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分，不同敏感级别的数据其管控原则和数据开发要求存在差异，划分分类分级后，后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
Java UDAF
signature 为函数签名，用于定义函数的输入参数和返回值的数据类型。UDAF无法通过反射分析获取函数签名，只能通过@Resolve 注解方式获取函数签名，例如@Resolve("smallint->varchar(10)")。更多@Resolve 注解信息，请参见@Resolve注解。...
数据分析整体趋势
这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
大数据安全治理的难点
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
什么是指标
本文主要介绍指标、指标域和指标类型的定义。指标 指标是用于衡量事物发展程度的单位或方法，也常被称作度量。例如：温度、人口数、GDP、收入、用户数、利润率、留存率、覆盖率等。指标域 指标域是指标所属的对象，用于分类管理指标。物...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
授权信息
本文为您介绍 云原生大数据计算服务 MaxCompute（MaxCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 ...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
表设计规范
单个分区中数据量较大的情况下，MaxCompute执行任务时会进行分片处理而不影响分区裁剪的优势。单个分区中文件数较多时，会影响MaxCompute Instance数量，造成资源浪费和SQL性能的下降。采用多级分区时，建议先按日期分区，然后按交易类型...
- 产品推荐
- 这些文档可能帮助您