创建数据流
说明 除 数据输入 和 数据输出 外，其他任务类型均可作为数据处理节点。在左侧 任务类型 列表中，拖拽 数据过滤 节点到画布的空白区域。将鼠标放在 数据输入 节点上，单击节点右侧出现的空心圆点并拉出连接线，连接至 数据过滤 节点上。...
JSON_TYPE
返回JSON数据所属的数据类型名称。命令格式 string|number|boolean|null|object|array json_type()参数说明 json：必填，待处理的JSON表达式。返回值说明 返回STRING类型。使用示例 示例1：返回JSON内的数据类型（array类型）。select json...
空间数据类型
空间数据类型是一种用来表示空间对象、地理位置和物体形状的数据类型，多用于航空、导航、城市规划等领域。本文介绍Lindorm宽表引擎支持的空间数据类型。适用引擎 空间数据类型仅适用于宽表引擎。空间数据类型 Lindorm Ganos的SQL接口支持...
存储空间分析
在 空间总览 区域，可以查看 总数据量、热数据量、冷数据量、数据增长量 四个指标。指标类别 指标 说明 总数据量 总数据量 AnalyticDB for MySQL 集群所有表的总数据量。热数据量 AnalyticDB for MySQL 集群所有表的热数据量。说明 热数据...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
新建离线自定义源类型
集成组件生成说明如下：创建RDBMS类型的离线自定义数据源，在集成管道组件库的开放目录下自动生成输入和输出组件。其他类型的自定义源，系统根据您上传的读/写插件，在组件库的开放目录下生成您上传的读/写插件组件。离线自定义源类型入口 ...
新建离线自定义源类型
集成组件生成说明如下：创建RDBMS类型的离线自定义数据源，在集成管道组件库的开放目录下自动生成输入和输出组件。其他类型的自定义源，系统根据您上传的读/写插件，在组件库的开放目录下生成您上传的读/写插件组件。离线自定义源类型入口 ...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
使用执行计划分析查询
Builder统计信息 包括Builder的类型、峰值内存、耗时、输出输入行数和数据量等信息。主要有如下Builder类型：HashBuilder：用于构建Hash表来完成Hash Join计算。SetBuilder：用于构造Set结构来完成Semi Join计算。NestLoopBuilder：用于...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
表
它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
步骤三：配置节点运行配置
针对不能自动解析输入和输出参数的节点类型，当需要了解资产中字段血缘关系时，在配置好输入和输出参数后，单击 字段血缘配置，手动配置输入和输出表的字段映射关系。其中不能自动解析输入和输出参数的节点包括：MaxCompute MR、Hadoop、...
步骤三：配置节点运行配置
针对不能自动解析输入和输出参数的节点类型，当需要了解资产中字段血缘关系时，在配置好输入和输出参数后，单击 字段血缘配置，手动配置输入和输出表的字段映射关系。其中不能自动解析输入和输出参数的节点包括：MaxCompute MR、Hadoop、...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
新建Flink SQL类型的公共节点
单击页面右侧 运行配置 页签，手动新建输入和输出参数。单击编辑页面的 图标，自动解析公共节点的节点变量。在节点编辑页面，单击左上角 图标。方式二：上传算法包方式 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
数据页面管理
在管理数据页面中，数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同，具体三种类型数据上传数据的详细说明请参见 上传数据。
使用Stage和Task详情分析查询
Task输出数据量 Task的输出数据量，包括输出行数和输出数据大小。根据当前Stage算子计划树中的聚合节点（Aggregation）或Join节点的属性，对应到具体的SQL语句，判断分区字段或者Join条件字段中是否存在某些字段组合。例如：a.id=b.id 中...
图扑案例
业务要求与挑战 5G、云计算、边缘计算等智能、互联技术的快速发展，推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增，与之对应的采集数据量和数据类型快速增长，导致数据存储、检索难度更大。现有解决方案中，通常依赖自建单...
常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
TRANSFORM
R 指代输出结果的数据类型。返回值说明 返回ARRAY类型。使用示例-返回[2,3,4]。select transform(array(1,2,3),x->x+1);说明 使用示例中涉及->的使用，关于Lambda函数->的介绍，详情请参见 Lambda函数。相关函数 TRANSFORM函数属于复杂类型...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
数据迁移操作指导
异构数据库间的数据类型映射关系 由于不同的数据库支持的数据类型不一样，数据类型无法完全对应。DTS在执行结构迁移时，会根据目标库支持的数据类型进行类型映射，您可以查阅并评估类型映射对业务的影响。功能特性 详情请参见 数据迁移。...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
RDS MySQL实例间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
表设计规范
MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。表设计是否合理将影响存储和计算的性能，进而影响到存储和计算的计费。声明 本文中介绍的非功能性规范均为建议性规范，产品功能无限制，仅供参考。表设计主要目标 降低存储...
分区表常见问题
数据量有多大适合使用分区表？使用分区表数据量没有下限，空表也可建分区表，但数据量太少没必要分区，一般普通表大于500 MB可以选择使用分区表。当单分区数据量超过64 TB（与单个普通表一致），最大分区数超过8192时不适合使用分区表。...
新建Hologres类型公共节点
Hologres离线数据节点，运行于Hologres云计算资源之上，支持对MaxCompute和Hologres类型的数据进行处理。本文介绍如何新建Hologres类型的公共节点。前提条件 已新建Hologres类型的云计算资源，具体操作，请参见 新建云计算资源。操作步骤 ...
计算节点配置说明
说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配输入表和输出表的字段映射关系，同时也支持手动配置。配置完字段血缘关系并运行上线生产节点后，可至资产中心查看该节点输出表和输入表的字段映射关系，具体操作，请参见 ...
- 产品推荐
- 这些文档可能帮助您