本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...
本文介绍 云数据库 SelectDB 版 与阿里云MaxCompute数据源进行对接使用的流程,帮助您对阿里云MaxCompute数据源进行联邦分析。概述 云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供...
2023年12月28日-MaxCompute升级公共云Endpoint 尊敬的MaxCompute用户:感谢您对云原生大数据计算服务MaxCompute的支持,MaxCompute将于北京时间2024年1月4日对华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口...
云原生大数据计算服务MaxCompute 实现底层加工计算,您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息,您无需单独开通该服务。对象存储OSS 本...
本文为您介绍 云原生大数据计算服务 MaxCompute(MaxCompute)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。云原生大数据计算服务 MaxCompute(MaxCompute)的RAM代码(RamCode)为 odps,支持的授权粒度为 ...
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据,不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中,服务并不保证缓存数据不会丢失,有强一致性要求的数据不适合...
数据查询为用户提供对云计算资源中物理表基本情况的概览能力,帮助用户直观了解物理表基础信息、字段内容分布等情况,建立对数据表的宏观理解,为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
角色用途:用于授权MaxCompute访问大数据计算平台其他云产品,如Hologres等。绑定的角色策略:AliyunServiceRolePolicyForMaxComputeIdentityMgmt 权限策略详情:{"Statement":[{"Effect":"Allow","Action":"odps:ActOnBehalfOfAUser",...
Spark Batch节点是离线节点,运行于Spark类型的云计算资源之上,可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源,具体信息,请参见...
数据服务API 数据服务API支持的云计算资源类型为:ApsaraDB for RDS、ApsaraDB for RDS VPC、AnalyticDB MySQL、AnalyticDB MySQL 2.0、AnalyticDB PostgreSQL、MaxCompute、DataHub、Table Store、Object Storage Service、RocketMQ、...
Flink SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
Flink Vvp SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...
本文介绍如何新建云计算资源。前提条件 已创建工作组,具体操作,请参见 新建工作组。背景信息 当前支持的云计算资源类型有RDS MySQL、AnalyticDB MySQL、AnalyticDB MySQL 2.0、AnalyticDB PostgreSQL、Blink、DM、DataHub、Flink、...
通过物理化逻辑表,可以将您在 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中,成为云计算资源或者数据库中实际存在的表,方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句,具体操作,...
通过操作流程图及说明,您可以直观且全局了解数据建模任务的操作流程。本文介绍数据建模任务的操作流程。流程图 流程说明 操作 说明 新建模型目录 通过新建模型目录,管控各目录下的模型,实现层级分离。具体操作,请参见 新建模型目录。...
云计算资源是 企业数据智能平台 中数据标准字段使用的基础,通过了解数据标准支持的云计算资源类型,并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源,以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...
您可以将已存在数据库中的数据表,通过云计算资源扫描方式,导入 企业数据智能平台 系统,实现逆向创建逻辑表。本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已添加工作组,具体操作,请参见 新建工作组。已新建目录,具体操作...
通过了解质量评估支持的云计算资源类型,并在系统设置模块添加质量评估需要使用的云计算资源类型对应资源,以备在运行质量检测计划时使用。本文介绍质量评估模块支持的云计算资源类型。质量规则 支持的云计算资源类型:MaxCompute Hive ...
前提条件 已新建导入数据所需的云计算资源,具体操作,请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有:RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL。操作步骤 登录企业数据智能平台。...
兼容性与变配 热点问题 其他常见问题 云数据库MongoDB版和MongoDB有什么关系?云数据库MongoDB版支持哪些数据库版本?云数据库MongoDB版是否支持嵌套?云数据库MongoDB版支持及限制哪些命令?云数据库MongoDB版是否支持添加节点?云数据库...
云计算资源是 企业数据智能平台 中通用资源使用的基础,通过了解通用资源支持的云计算资源类型,并在系统设置模块添加通用资源需要使用的云计算资源类型对应资源,以备在新建函数资源、自定义函数并物理化以及新建数据基础库并物理化时使用...
云计算资源是 企业数据智能平台 中数据建模使用的基础,通过了解数据建模支持的云计算资源类型,并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源,以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中...
云计算资源是 企业数据智能平台 资产管理的基础,了解运营支持的云计算资源类型,以备在系统设置模块添加对应资源。本文介绍运营模块支持的云计算资源类型。表资产 支持的云计算资源类型:MaxCompute、DataHub、Hive、RDS MySQL、...
本文介绍如何新建云计算资源。前提条件 已创建工作组,具体操作,请参见 新建工作组。背景信息 当前支持的云计算资源类型有RDS MySQL、AnalyticDB MySQL、AnalyticDB MySQL 2.0、AnalyticDB PostgreSQL、Blink、DM、DataHub、Flink、...
Elasticsearch elasticsearch 大数据 大数据计算 大数据计算服务 odps 大数据 大数据计算 实时计算Flink版 sc 大数据 大数据计算 E-MapReduce emapreduce 大数据 大数据计算 数据总线 datahub 云计算基础 存储服务 对象存储 oss 云计算基础...
添加云计算资源为使用数据资源平台做数据支撑。以新建ApsaraDB for RDS和MaxCompute云计算资源为例,介绍如何新建云计算资源。前提条件 您已经购买ApsaraDB for RDS云计算资源,并完成RDS快速入门,具体操作,请参见 RDS快速入门。您已经...
本文介绍数据查询支持的云计算资源。目前支持的云计算资源类型:MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、Hive、HiveStorage、Lindorm、MinIO、Kafka、DataHub。说明 Kafka、...
工作组是 企业数据智能平台 进行数据研发的基本单元,用于数据隔离的命名空间,通常为一个用户组、一个项目或一个应用。在使用 企业数据智能平台 时,可以通过创建工作组来隔离数据,对数据进行分域管理,以达到各工作组之间空间隔离的效果...
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作...
随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力,正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
通过了解数据开发支持的云计算资源类型,并在系统设置模块添加数据开发需要使用的云计算资源类型对应资源,以备在运行离线节点或者部署运行测试场景和线上场景时使用。本文介绍数据开发中支持使用的云计算资源类型。节点模式 支持的云计算...
提供的路由路径如下:设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
数据查询提供不同数据资源的预览,可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源,具体操作,请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面...
概览 您可以参见如下流程图检查网络环境:私网网络环境 检查地域 云服务器ECS实例和云数据库MongoDB实例需在同一地域,才能通过私网连接。检查云服务器ECS实例和云数据库MongoDB实例是否位于同一地域。可以是同一地域的相同或不同可用区。...
云服务器 ECS 云数据库 RDS 对象存储 OSS CDN 日志服务 专有网络 VPC 轻量应用服务 NAT网关 共享带宽 负载均衡 路由表 交换机 云数据库 Memcache 弹性公网 IP 云数据库 MongoDB 版 云数据库 HybridDB for MySQL 云原生关系型数据库PolarDB ...
本文介绍如何使用日志投递功能从日志服务(SLS)同步数据到云数据库ClickHouse。注意事项 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...
本章主要介绍如何在数据库控制台购买云数据库HBase 增强版集群,并通过网络连接集群,使您能够使用和管理集群。使用场景 首次使用云数据库HBase 增强版。流程简介 云数据库HBase 增强版的初始化操作流程如上图所示。购买集群:根据业务需求...
本文介绍云数据库HBase连通性检测和与云数据库HBase网络不通的可能原因。背景信息 云数据库HBase为了保障安全性,不提供Ping的ICMP协议,请不要使用Ping来访问,判断是否连通云数据库HBase,请使用Telnet。平台提供了公网访问及内网访问,...
本文介绍数据同步支持的云计算资源。单表任务链路 目前系统支持的任务链路如下表所示。说明 对号(√)代表支持,其他则为不支持。目标端支持版本与源端一致。批量任务链路 目前系统支持的批量任务链路如下表所示。说明 对号(√)代表支持...
本文介绍云数据库MongoDB在2023年发布的产品功能和对应的文档动态。2023年12月 功能名称 功能描述 发布时间 相关文档 空间分析 新特性 云数据库 MongoDB 版 的空间分析功能,支持Hidden节点的碎片回收功能。2023-12-22 空间分析 Shard账号...