消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:消息队列 Kafka 版 ...

授权信息

本文为您介绍 原生大数据计算服务 MaxCompute(MaxCompute)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。原生大数据计算服务 MaxCompute(MaxCompute)的RAM代码(RamCode)为 odps,支持的授权粒度为 ...

2023年

2023年12月28日-MaxCompute升级公共Endpoint 尊敬的MaxCompute用户:感谢您对原生大数据计算服务MaxCompute的支持,MaxCompute将于北京时间2024年1月4日对华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口...

阿里MaxCompute数据

概述 原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据...

实验介绍

原生大数据计算服务MaxCompute 实现底层加工计算,您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息,您无需单独开通该服务。对象存储OSS 本...

金融产品列表

安全中心 部署 部署 部署 部署 Web应用防火墙 WAF 部署 部署 部署 部署 原生大数据计算服务MaxCompute 无 部署 部署 无 大数据开发治理平台 DataWorks 无 部署 部署 无 DataV数据可视化 无 无 部署 无 机器学习PAI 无 无 部署 无 视频...

2023年

MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务,您需要将这些版本的计算资源转换为...

公告

2023年12月28日-MaxCompute升级公共Endpoint 尊敬的MaxCompute用户:感谢您对原生大数据计算服务MaxCompute的支持,MaxCompute将于北京时间2024年1月4日对华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、华北3(张家口...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

功能简介

数据查询为用户提供对云计算资源中物理表基本情况的概览能力,帮助用户直观了解物理表基础信息、字段内容分布等情况,建立对数据表的宏观理解,为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...

开通MaxCompute和DataWorks

角色用途:用于授权MaxCompute访问大数据计算平台其他产品,如Hologres等。绑定的角色策略:AliyunServiceRolePolicyForMaxComputeIdentityMgmt 权限策略详情:{"Statement":[{"Effect":"Allow","Action":"odps:ActOnBehalfOfAUser",...

新建Spark Batch类型的公共节点

Spark Batch节点是离线节点,运行于Spark类型的云计算资源之上,可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源,具体信息,请参见...

新建Flink Vvp SQL类型的公共节点

Flink Vvp SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...

新建Flink SQL类型的公共节点

Flink SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...

客户案例

MaxCompute已被广泛应用于各领域处理大数据,帮助众多企业解决了海量数据分析问题,同时降低企业运维成本,企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息,请参见 行业客户案例...

应用场景

云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构,具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用:使用云数据库MongoDB作为大数据存储系统,随时进行数据提取分析,掌握行业动态。

云计算资源类型

云计算资源是 数据资源平台 中数据标准字段使用的基础,通过了解数据标准支持的云计算资源类型,并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源,以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...

新建实例场景下配置专有网络

云数据库MongoDB支持经典网络和专有网络两种网络类型,本文介绍新建MongoDB实例时如何配置专有网络。背景信息 在阿里平台上,经典网络和专有网络的区别如下:经典网络:经典网络中的云服务在网络上不进行隔离,只能依靠云服务自身的安全...

如何解决由网络环境导致的实例连接失败问题?

说明 专有网络是一种隔离的网络环境,不同专有网络之间逻辑上彻底隔离,所以当云服务器ECS实例和云数据库MongoDB实例的网络类型都是专有网络时,还需要保证所属的专有网络ID相同,才能通过私网连接。检查云服务器ECS实例和云数据库MongoDB...

云计算资源类型

数据服务API 数据服务API支持的云计算资源类型为:ApsaraDB for RDS、ApsaraDB for RDS VPC、AnalyticDB MySQL、AnalyticDB MySQL 2.0、AnalyticDB PostgreSQL、MaxCompute、DataHub、Table Store、Object Storage Service、RocketMQ、...

外部表概述

随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力,正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...

通过云计算资源导入逻辑表

您可以将已存在数据库中的数据表,通过云计算资源扫描方式,导入 企业数据智能平台 系统,实现逆向创建逻辑表。本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已添加工作组,具体操作,请参见 新建工作组。已新建目录,具体操作...

导入数据

前提条件 已新建导入数据所需的云计算资源,具体操作,请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有:RDS MySQL、MaxCompute、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、PostgreSQL。操作步骤 登录企业数据智能平台。...

物理化逻辑表

通过物理化逻辑表,可以将您在 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中,成为云计算资源或者数据库中实际存在的表,方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句,具体操作,...

连通性检测

本文介绍云数据库HBase连通性检测和与云数据库HBase网络不通的可能原因。背景信息 云数据库HBase为了保障安全性,不提供Ping的ICMP协议,请不要使用Ping来访问,判断是否连通云数据库HBase,请使用Telnet。平台提供了公网访问及内网访问,...

操作流程

通过云计算资源 将已存在数据库中的数据表,通过云计算资源扫描方式,导入 企业数据智能平台 系统,实现逆向创建逻辑表。具体操作,请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联...

新建VPC类型的云计算资源

步骤二:新建VPC类型的云计算资源 登录 数据资源平台控制台。在页面右上角,单击 图标,选择 系统设置。在页面左侧导航栏,单击 工作组管理。在 工作组管理 页面,选择目标工作组,单击 操作 列中 云计算资源。在 云计算资源 页面,单击 ...

Quick BI

您可以使用外网或VPC网络连接 云数据库ClickHouse,在Quick BI中添加 云数据库ClickHouse 数据源并通过Quick BI构建BI系统。本文介绍如何在Quick BI中添加 云数据库ClickHouse 数据源。前提条件 已创建 云数据库ClickHouse 集群。具体操作...

预览物理表数据

云计算资源为空间数据类型时,在 数据预览 页面左上角,打开 地图模式 开关,查看空间地图和当前加载页数据所对应的所有点、线、面图形。数据筛选:在 数据预览 页面上方,选择字段并设置字段条件,可通过条件筛选预览数据。说明 筛选...

新建云计算资源

支持新建多种类型的数据源,为使用 企业数据智能平台 做数据支撑。本文介绍如何新建云计算资源。...重要 删除云计算资源将造成数据无法访问,导致该云计算资源中存储的已授权物理表、标签、数据服务API等无法使用或加工任务异常,请谨慎操作。

云计算资源类型

云计算资源是 企业数据智能平台 中数据标准字段使用的基础,通过了解数据标准支持的云计算资源类型,并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源,以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...

(可选)申请公网连接地址

云数据库MongoDB支持公网连接地址,您可以为实例申请公网连接地址用于使用公网连接云数据库MongoDB实例的场景。本文介绍为云数据库MongoDB副本集实例申请公网连接地址的方法。背景信息 云数据库MongoDB实例支持的连接地址类型及对应说明...

通过Mongo Shell连接MongoDB单节点实例

Mongo Shell是MongoDB自带的数据库管理工具,您可以将Mongo Shell工具下载并安装至客户端(本地服务器或ECS服务器),用于连接云数据库MongoDB单节点实例。本文介绍通过Mongo Shell连接云数据库MongoDB单节点实例的方法。前提条件 已创建...

(可选)申请公网连接地址

云数据库MongoDB支持公网连接地址,您可以为实例申请公网连接地址用于使用公网连接云数据库MongoDB实例的场景。本文介绍为云数据库MongoDB分片集群实例申请公网连接地址的方法。背景信息 云数据库MongoDB实例支持的连接地址类型及对应说明...

应用场景

数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作...

云计算资源类型

云计算资源是 企业数据智能平台 中数据建模使用的基础,通过了解数据建模支持的云计算资源类型,并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源,以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中...

云计算资源类型

云计算资源是 企业数据智能平台 中通用资源使用的基础,通过了解通用资源支持的云计算资源类型,并在系统设置模块添加通用资源需要使用的云计算资源类型对应资源,以备在新建函数资源、自定义函数并物理化以及新建数据基础库并物理化时使用...

新建工作组

后续操作 通过添加云计算资源,为使用 企业数据智能平台 做数据支撑。以RDS MySQL资源为例,更多信息,请参见 新建云计算资源。通过成员管理功能,对工作组实现账号和角色权限控制。更多信息,请参见 工作组成员管理。通过全局变量功能,可...

新建云计算资源

支持新建多种类型的数据源,为使用 数据资源平台 做数据支撑。本文介绍如何新建云计算资源。...重要 删除云计算资源将造成数据无法访问,导致该云计算资源中存储的已授权物理表、标签、数据服务API等无法使用或加工任务异常,请谨慎操作。

新建云计算资源

添加云计算资源为使用数据资源平台做数据支撑。以新建ApsaraDB for RDS和MaxCompute云计算资源为例,介绍如何新建云计算资源。前提条件 您已经购买ApsaraDB for RDS云计算资源,并完成RDS快速入门,具体操作,请参见 RDS快速入门。您已经...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云原生大数据计算服务 MaxCompute 数据库备份 DBS 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用