aliyun大数据计算服务使用指引-aliyun大数据计算服务使用指引文档介绍内容-阿里云

资源类型索引

阿里云产品普通资源数据源资源应用配置管理ACM ALIYUN:ACM:Configuration：创建配置 ALIYUN:ACM:Namespace：创建命名空间 DATASOURCE:ACM:Configurations：获取配置列表详情 DATASOURCE:ACM:Namespaces：获取命名空间列表操作审计...

应用场景

通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...

授权信息

云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 RESOURCE。权限策略通用结构权限策略支持JSON格式，其通用结构如下：{"Version":"1","Statement":[{"Effect":"<Effect>","Action":...

SQL增强操作

功能是否支持限制云原生大数据计算服务MaxCompute-EXPLAIN 是无云原生大数据计算服务MaxCompute-CLONE TABLE 是无云原生大数据计算服务MaxCompute-参数化视图是创建参数化视图不支持表值参数table。支持any以及MaxCompute的所有...

准备环境

鼠标悬停至顶部菜单栏中的产品，单击 大数据计算>云原生大数据计算服务MaxCompute，进入MaxCompute产品详情页。单击立即开通。在购买页面，选择地域，并选中服务协议，单击确认订单并支付。说明购买页面默认提供的规格类型为...

应用场景

数据分析业务云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

Transaction Table2.0概述

现状分析当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...

SDK概述

emr-maxcompute_2.11：支持Spark读写MaxCompute数据源，使用时需要打进作业JAR包。emr-datahub_2.11：支持Spark读写DataHub数据源，使用时需要打进作业JAR包。groupId>...

新功能发布记录

2023年04月功能名称功能描述相关文档云服务PolarDBX新增资源 ALIYUN:PolarDBX:Database：创建数据库 ALIYUN:PolarDBX:Database 云服务CMS、CDN、DTS支持数据源以下资源类型支持数据源：DATASOURCE:CMS:AlarmContacts DATASOURCE:CDN:...

创建Aliyun HBase数据源

本文为您介绍如何创建Aliyun HBase数据源。背景信息 Aliyun HBase即阿里云的云数据库HBase。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要先完成Aliyun HBase数据源的创建。权限说明仅支持超级管理员、数据源管理...

开源支持

MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过...

简单上传示例

Tunnel SDK是MaxCompute提供的离线批量数据通道服务，主要提供大批量离线数据上传和下载。典型的表数据上传流程创建表，如果是分区表先创建分区。创建TableTunnel。创建UploadSession。创建RecordWriter，写入Record。提交上传。示例 ...

创建Aliyun HBase数据源

本文为您介绍如何创建Aliyun HBase数据源。背景信息 Aliyun HBase即阿里云的云数据库HBase。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要先完成Aliyun HBase数据源的创建。更多信息，请参见什么是云数据库HBase。...

使用DataWorks连接

DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定计算引擎后，您即可在DataWorks上创建对应引擎...

服务条款

欢迎使用图计算服务，目前图计算服务为公测阶段，因此在开始使用前，请你仔细阅读阿里云服务试用条款的全部内容。

什么是视觉计算服务

阿里云视觉计算服务Visual Compute Service（简称VCS）是一款弹性可伸缩的视觉智能计算服务。提供视觉数据接入、AI算法训练、计算资源调度的能力，通过API支撑开发业务应用，同时帮助开发者提升视觉AI创新效率，专注核心业务创新。VCS支持...

概述

数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至MaxCompute。详情请参见通过LogHub迁移日志数据至MaxCompute...

流式数据通道概述

MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据存储结构，解决高QPS写入导致的碎片文件问题。提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...

客户案例

MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见行业客户案例...

常见概念

常见概念概念说明相关文档计算巢服务计算巢服务是一个开放给服务商（包含企业应用服务商、IT集成服务商、交付服务商和管理服务提供商等）和最终用户的服务管理PaaS平台。通过计算巢服务，服务商能更好地在阿里云上部署服务、交付服务...

联系我们

如果您在使用数据传输服务DTS（Data Transmission Service）的过程中有任何疑问或建议，可以通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。

实验介绍

云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见开通MaxCompute。云数据库RDS MySQL版本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...

使用前须知

阿里云函数计算服务联合日志服务推出函数执行日志查询分析功能，支持将函数调用日志存储到日志服务Logstore中，您可以进行代码调试、故障分析、数据分析等操作。本文介绍函数计算服务日志功能所涉及的资产详情、费用说明、使用限制等信息。...

简介

BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...

快速入门

步骤二申请开通视觉计算服务 您需要填写一个表单来申请视觉计算服务，申请完成后会有专门的阿里云工作人员联系您。步骤三设备导流本步骤为离线操作步骤，不在VCS控制台进行。阿里云工作人员联系您后会要求您提供设备接入信息，并配合您...

什么是MaxCompute

MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...

使用Tunnel命令或Tunnel SDK

MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

IoT物联网平台

您可以使用规则引擎数据流转，将数据转发至函数计算（FC）中，然后由函数计算运行函数脚本进行业务处理。前提条件已创建函数计算的服务和函数，并完成函数配置，验证函数能正常执行。函数计算使用方法，请参见函数计算文档。重要创建...

计量计费

本文为您介绍如何估算MaxCompute SQLML作业的费用。背景信息通常情况下，每个算法组件由多个子任务组成。...查看账单信息 MaxCompute SQLML作业，在账单中体现的是 大数据计算服务MaxCompute+机器学习（PAI）两个产品的费用。

选择连接工具

本文为您介绍连接并处理MaxCompute项目数据工具的应用场景、运行环境要求以及使用指引。您可根据业务需要和相应准备的环境，选择合适的连接工具。前提条件已创建MaxCompute项目。更多创建MaxCompute项目操作，请参见创建MaxCompute项目。...

产品简介

可扩展本产品和蚂蚁隐私计算服务平台其他产品使用同一套核心资源管理平台及系统框架，可根据现场实际环境组装产品功能，准确制定完整的解决方案。应用场景多家机构拥有结构相似、内容不同的数据，并且这些机构都需要使用各自的数据创建...

常见问题

解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见数据存储白名单配置。源表数据无法同步到目标表中。可能原因：源表的数据类型与目标表不一致，在进行类型转换时出错。例如源表中的 create_time 字段为DATETIME类型...

服务商指南概述

本文介绍了您在使用计算巢的不同阶段，需要进行的入驻准备、部署服务、交付运营等操作。作为服务商，计算巢控制台的整体流程如下图所示：说明您能够在欢迎页中查看当前入驻进度，已完成的入驻项会以高亮显示。服务商使用计算巢的整体流程...

离线存储授权

一、操作场景 I 自有数仓数据启动登录阿里云图计算服务控制台。2.在创建数据表时如果选择配置MaxCompute（原ODPS）数据源，需要在MaxCompute中给openias账号授权可读权限。二、MaxCompute授权流程下载和配置使用客户端（odpscmd）连接。...

云计算资源类型

数据服务API 数据服务API支持的云计算资源类型为：ApsaraDB for RDS、ApsaraDB for RDS VPC、AnalyticDB MySQL、AnalyticDB MySQL 2.0、AnalyticDB PostgreSQL、MaxCompute、DataHub、Table Store、Object Storage Service、RocketMQ、...

配额管理

试用服务实例产生的资源费用由阿里云支付，但会消耗您的免费试用额度，您可以在配额中心对您账号下的试用额度进行管理，计算巢服务配额包含用户试用服务实例可消耗总金额和用户可保有试用服务实例总数两项。本文介绍了如何在配额中心对计算...

aliyun大数据计算服务使用指引

新品推荐