创建并使用MaxCompute表
MaxCompute表数据写入 您可通过 数据集成任务、MaxCompute节点任务 向MaxCompute表中写入数据，此外，DataWorks还支持通过 上传数据 功能将本地数据导入MaxCompute表中。MaxCompute表数据导出 在数据开发（DataStudio）查询数据后，您可...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute，也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...
支持的云服务
将MaxCompute数据导入 AnalyticDB for MySQL，有如下两种方式：通过DMS for AnalyticDB for MySQL的 通过外表导入至数仓版 和 导出至MaxCompute 功能进行配置。通过DataWorks配置数据同步任务，请参见 通过DataWorks同步数据。更多 ...
2020年
升级和降配 2020-11-27 支持将消息队列Kafka版数据导入MaxCompute。新功能 MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，无需第三方工具及二次开发，即可满足将指定Topic数据持续导入...
2020年
2020-04-13 全部区域 MaxCompute管家 2020-03 功能名称 功能描述 发布时间 发布区域 相关文档 新增LOAD命令 您可以通过LOAD命令从外部存储（例如OSS或OTS）将数据导入表或表分区。2020-03-17 全部区域 LOAD 新增5个内建函数 MaxCompute新增...
使用Kafka（离线与实时）
Kafka数据写入MaxCompute流程：阿里云全托管Kafka MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，无需第三方工具及二次开发，即可满足将指定Topic数据持续导入MaxCompute数据表的需求，...
数据迁移
背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，可以将数据迁移至 MaxCompute。MaxCompute为您提供了完善的数据迁移方案以及多种经典的分布式计算模型，能够快速地解决海量数据存储和...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
数仓构建流程
本文为您介绍构建MaxCompute数据仓库的流程。构建MaxCompute数据仓库的整体流程如下。基本概念 在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由...
常见问题
除了通过MaxCompute客户端导入数据，您也可以使用MaxCompute Studio、Tunnel SDK、数据集成、开源的Sqoop、Fluentd、Flume、Logstash等工具将数据导入到MaxCompute，更多信息请参见 数据上云工具。误删除表数据如何恢复？MaxCompute提供...
数据加工过程卡点校验
随着业务的发展，业务数据库（MaxCompute数据仓库的数据源）会出现数据库扩容或者DDL变更，这些变更都要主动通知到离线开发人员。基于MaxCompute的数据仓库在进行离线数据抽取时，通过DataWorks的数据集成工具，可能会限制某个业务数据库表...
Tablestore外部表
如果您需要对一份数据做多次计算，相比每次从Tablestore去远程读数据，更高效的方法是先一次性把需要的数据导入到MaxCompute内部成为一个MaxCompute（内部）表，示例如下。CREATE TABLE internal_orders AS SELECT odps_orderkey,odps_...
Quick BI连接MaxCompute
数据库地址 连接MaxCompute项目的Endpoint，Quick BI可通过阿里云经典网络Endpoint连接MaxCompute服务。Endpoint详情请参见 Endpoint。项目名称 目标MaxCompute项目的名称。此处为MaxCompute项目名称，非工作空间名称。您可以登录 ...
开源支持
Data collector MaxCompute数据集成工具插件，包括Flume、OGG、Kettle、Sqoop、Hive。Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于...
读取OSS数据
背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入MaxCompute内部表，然后再读取OSS的数据。如果直接使用OSS外部表，每次读取数据都涉及OSS的I/O操作，且...
公共规范
本文为您介绍建设MaxCompute数据仓库的公共规范。层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共...
调试指南
利用这个特性，您可以快速下载小部分ODPS数据到本地，使用Pandas计算后端进行代码编写和调试。这些操作包括：非分区表：对其进行选取全部或有限条数据、列筛选的操作（不包括列的各种计算），以及计算其数量。不选取分区或筛选前几个分区...
计费项与计费方式概述
说明 数据导入MaxCompute不计费。套餐计费 MaxCompute包年包月套餐费用包含预留的计算资源和存储容量费用，每种套餐固定CU量和存储容量。与包年包月的标准预留计算资源一样，购买包年包月套餐后，系统会为购买的账号预留固定的计算资源。...
兼容性概览
为了帮助您更清晰地使用外部工具连接访问MaxCompute，本文将为您介绍MaxCompute支持连接的数据库管理工具，以及工具与MaxCompute在数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...
数据上云工具
LogStash（DataHub通道系列）LogStash是一款开源日志收集处理框架，logstash-output-datahub插件实现了将数据导入DataHub的功能。通过简单的配置即可完成数据的采集和传输，结合MaxCompute和StreamCompute可以轻松构建流式数据从采集到分析...
MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
数据传输与迁移概述
类型 典型场景 数据库Binlog采集 数据集成-数据库实时数据同步。DTS。日志采集 数据集成-实时数据同步（SLS）。SLS数据投递。日志采集客户端LogStash。流计算任务写入 Flink写入MaxCompute结果表。流数据同步任务写入 DataHub数据同步...
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
安全配置常见问题
因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何解决？如何找回被删除的表？MaxCompute如何保证数据安全？MaxCompute拥有完备的措施来保证用户的数据安全：多用户场景，除项目所有者（Project Owner）或项目管理员之外，未经...
ODPS-0123091
ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...
RAM权限
MaxCompute数据加密相关信息请参见 存储加密。权限策略 RAM支持两种类型的权限策略：由阿里云管理的系统策略和由客户管理的自定义策略。RAM系统策略。MaxCompute在RAM上提供了两种系统策略：AliyunMaxComputeFullAccess：此策略权限将包含...
2021年
2021-11-18 全部地域 网易有数BI连接MaxCompute 2021-10 功能名称 功能描述 发布时间 发布地域 相关文档 MaxCompute外表支持HBase增强版和云原生多模数据库Lindorm 云数据库HBase增强版，是由云原生多模数据库Lindorm的宽表引擎提供的、...
外部表概述
该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的...
MMA概述
MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具。本文为您介绍MMA的使用概述，帮助您快速了解并使用MMA。功能简介 Hive数据迁移到MaxCompute。MaxCompute跨项目数据迁移。EMR+DLF+OSS迁移MaxCompute项目。数据迁移原理 ...
兼容性概述
为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与MaxCompute在数据库连通性、列举数据库等方面的兼容性。兼容性说明 商业智能（BI）分析工具与MaxCompute的兼容性说明如下。工具 ...
项目空间操作
详情请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则。odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见 消费监控告警消费控制。无。odps.sql.acid.table.enable 设置是否开启ACID机制。更多ACID信息，请参见 ACID语义...
发展历程
2020年 Gartner全球数据库魔力象限，阿里云位于领导者象限，MaxCompute和E-MapReduce提供了安全、稳定、高性能的计算平台。IDC Marketscape中国大数据管理平台，MaxCompute位居领导者象限。Forrester：每两年一次的全球云数仓评测中，进入...
近实时增量导入
如上图所示：数据导入工具内部会集成MaxCompute数据通道服务Tunnel提供的SDK Client，支持分钟级高并发写入数据到Tunnel Server，由它把数据并发写入到每个Bucket的数据文件中。写入并发度可通过表属性 write.bucket.num 来配置，因此写入...
SETPROJECT
关于MaxCompute数据动态脱敏的更多信息，请参加 数据动态脱敏。自定义的动态脱敏规则。SELECT SQL Project odps.sql.acid.table.enable 设置是否开启ACID机制。关于ACID的更多信息，请参见 ACID语义。True：打开。False：关闭。ALL SQL ...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本教程旨在帮助您使用DataWorks，将 云消息队列 Kafka 版 中的数据导入至MaxCompute，来进一步探索大数据的价值。步骤一：准备云消息队列 Kafka 版数据 向Topic testkafka中写入数据，以作为迁移至MaxCompute中的数据。由于 云消息队列 ...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
集成SQLAlchemy
PyODPS集成了SQLAlchemy，可以使用SQLAlchemy查询MaxCompute数据。本文为您介绍如何创建连接，并调用SQLAlchemy接口。创建连接 创建连接语法格式如下。import os from sqlalchemy import create_engine#确保 ALIBABA_CLOUD_ACCESS_KEY_ID ...
- 产品推荐
- 这些文档可能帮助您