集成SQLAlchemy
PyODPS集成了SQLAlchemy，可以使用SQLAlchemy查询MaxCompute数据。本文为您介绍如何创建连接，并调用SQLAlchemy接口。创建连接 创建连接语法格式如下。import os from sqlalchemy import create_engine#确保 ALIBABA_CLOUD_ACCESS_KEY_ID ...
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案是否合适业务需求以及如何改进。例如，针对每一个数据质量事件，必须分析原因和处理过程，制定后续同类事件预防...
通过日志服务迁移日志数据至MaxCompute
导入时间间隔 MaxCompute数据投递间隔，默认1800，单位：秒（s）。说明 不同Logstore的数据不能导入到同一个MaxCompute表中，否则会造成分区冲突或丢失数据。海外Region不支持通过LogHub将数据投递至MaxCompute，可以使用DataWorks进行数据...
Sugar BI连接MaxCompute
在MaxCompute项目的IP白名单中添加如下IP：183.240.92.0/24,111.45.0.0/22,14.215.188.4/25 说明 添加IP白名单操作详情请参见 添加IP白名单，不添加如上IP会导致Sugar BI无法读取MaxCompute数据。步骤二：创建数据模型 连接完数据源后，...
周期性调度作业概述
任务开发运行过程中可能会产生的其他费用，包含但不限于：数据库费用：数据同步时，读写上下游数据库中的数据，可能会产生数据库费用。计算和存储费用：运行计算引擎任务时，可能会产生计算引擎的计算和存储费用。例如，运行一个MaxCompute...
网易有数BI连接MaxCompute
您可以在下拉列表选择数据库作为默认数据库，使用自定义SQL建立模型时不需要加项目名称。同步至复杂报表 可选。单击 连接 后，会显示该参数。打开该参数后，数据库将作为数据源同步至复杂报表。缓存有效期 可选。单击 连接 后，会显示该...
数据动态脱敏
MaxCompute底层脱敏不支持对MaxCompute数据表的主键字段进行脱敏。MaxCompute底层脱敏仅支持对String类型字段进行脱敏。只有MaxCompute项目中已经存在数据并且数据已创建24小时（h）的情况下，才能使用此功能。准备工作 准备待脱敏的...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
使用Tunnel命令或Tunnel SDK
Upload：上传本地数据至MaxCompute表中。支持文件或目录（指一级目录）的上传，每一次上传只支持数据上传到一张表或表的一个 分区。分区表一定要指定上传的分区，多级分区一定要指定到末级分区。更多信息请参见 Upload。Resume：因为网络或...
SQL Workbench/J连接MaxCompute
MaxCompute支持您通过数据库管理工具SQL Workbench/J访问MaxCompute项目，进行数据管理操作。本文为您介绍如何通过MaxCompute JDBC驱动，连接SQL Workbench/J和MaxCompute项目并管理数据。背景信息 SQL Workbench/J是一个免费的、独立于...
使用本地客户端（odpscmd）连接
若本机环境编码不是UTF-8，则当您通过客户端查询MaxCompute表数据返回值有中文可能会出现乱码或者您通过客户端执行Tunnel命令上传本地数据文件到MaxCompute，也可能会出现中文乱码。安装并配置MaxCompute客户端 说明 客户端从v0.27.0版本...
整体架构
其中：数据接入 支持各数据源全量和近实时增量导入功能：MaxCompute联合相关产品定制开发多种数据接入工具，例如MaxCompute定制开发的 Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。这些工具会对接...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
RDS外部表
前提条件 已开通MaxCompute和云数据库RDS间的网络连接，详情请参见 网络开通流程。使用限制 支持华北2（北京）、华东2（上海）、华北3（张家口）、华东1（杭州）、华南1（深圳）、中国（香港）、新加坡、德国（法兰克福）、美国（弗吉尼亚...
SQL概述
参考文档 说明 了解MaxCompute SQL 与其他SQL语法的差异 了解与主流数据库的语法差异。保留字与关键字 了解MaxCompute SQL命令中的保留字与关键字。数据类型 了解MaxCompute SQL支持处理的数据类型、版本及各版本间的区别。数据类型转换 ...
MaxFrame概述
更高的处理性能 MaxFrame可直连MaxCompute数据，运行时无需将数据拉取至本地计算，消除了不必要的本地数据传输，提高执行效率。MaxFrame可直接使用MaxCompute海量弹性计算资源，并支持自动分布式、并行处理，大幅缩短数据处理的时间。更...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
实现指定用户访问特定UDF最佳实践
DataWorks工作空间的MaxCompute属性介绍，请参见 MaxCompute数据权限控制详情。Role Policy结合Project Policy实现指定用户访问指定UDF。通过Policy可以精细化地管理具体用户对特定资源的具体权限。说明 为了安全起见，建议初学者使用测试...
存储加密
数据类型 MaxCompute数据类型包含 1.0数据类型、2.0数据类型 和 Hive兼容类型。您需要根据业务情况选择合适的数据类型版本，三种数据类型版本的区别请参见 数据类型版本说明。是否加密 选择 需要加密，指定创建的MaxCompute项目开启数据...
项目管理（新版）
数据类型 MaxCompute数据类型包含 1.0数据类型、2.0数据类型 和 Hive兼容类型。您需要根据业务情况选择合适的数据类型版本，三种数据类型版本的区别请参见 数据类型版本说明。是否加密 指定创建的MaxCompute项目是否需要开启数据加密功能。...
使用须知
模块 子模块 说明 项目管理 创建项目前期工作 项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目的权限，通过安全授权，可以...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务连接、SDK、工具和数据导入导出、上云等常见操作。背景信息 MaxCompute提供了多种数据上传下载的通道支持，方便您在各种场景下进行技术方案选型时参考。批量数据...
常见问题
项目（Project）是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等。一个...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
表概述
基本概念 项目 项目（Project）是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema。项目是进行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目的权限。您通过安全授权可以跨项目访问对象，例如表（Table）、...
（邀测）MaxCompute Notebook使用说明
支持在MaxCompute Notebook Code中直接使用MaxCompute SQL语法操作MaxCompute数据，并支持将MaxCompute SQL执行结果可视化转为PyODPS DataFrame，同时支持PyODPS DataFrame与Pandas DataFrame互相转换。内置丰富函数库 MaxCompute Notebook...
项目
项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界。项目中包含多个对象，例如表（Table）、资源（Resource）、函数（Function）和实例（Instance）等，您...
快速入门
ml_100k_ratings(user_id BIGINT COMMENT '用户id',movie_id BIGINT COMMENT '电影id',rating BIGINT COMMENT '得分',timestamp BIGINT COMMENT '时间戳')基于Tunnel Upload 将本地数据文件内容导入MaxCompute的表中。更多Tunnel操作，请...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
迁移Oracle数据至MaxCompute最佳实践
为了让网络互通，您需要给ECS配置公网IP，并且配置ECS的安全组规则放通Oracle数据库的常用端口1521。关于ECS安全组配置详情请参见 修改安全组规则。如上图所示，本文中的ECS规格为 ecs.c5.xlarge，使用专有网络，区域为华东1（杭州）。背景...
存储费用
背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小不同。MaxCompute数据存储三个副本，但只按一个副本压缩后的大小进行按量计费。存储费用分为存储计费和备份存储计费。...
观远BI连接MaxCompute
参数说明请参考下表：参数名称 参数说明 数据库连接方式 直连数据库：通过MaxCompute JDBC从MaxCompute直接读取数据。Guan-Index：会缓存一份数据到观远服务器中，同时支持选择增量更新这份数据。如果选择Guan-index，可以设置一个去重主键...
租户属性
此外，如果第三方引擎需要读取MaxCompute数据，您可以开启租户级的开放存储（Storage API）功能。注意事项 租户级Schema开启后不能关闭，请谨慎开启。仅未创建过项目的租户支持开启租户级Schema功能。说明 若已创建过项目的租户需要开启...
TPC-DS数据
MaxCompute通过TPC-DS官方工具生成了10GB、100GB、1TB、10TB四个规格的TPC-DS数据，此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息，以及如何通过MaxCompute执行TPC-DS数据查询。简介 TPC ...
创建MaxCompute项目
可通过DataWorks控制台创建DataWorks工作空间，并在此过程中直接创建并绑定MaxCompute数据源，后续即可在DataWorks工作空间中开发MaxCompute作业，详细操作流程请参见 创建工作空间。说明 使用DataWorks进行数据开发治理时，支持隔离开发和...
后续指引
说明 相关文档 数据迁移 上传下载数据 MaxCompute提供Tunnel批量数据通道、Streaming Tunnel流式数据写入通道和DataHub实时数据通道三种数据上传下载的通道，同时还支持基于DataHub和Tunnel提供的SDK实现上传下载数据，满足多样化场景需求...
Tableau连接MaxCompute
查看所有表 在左侧的 数据库 列表选择目标MaxCompute项目后，Tableau Desktop会自动加载MaxCompute项目的表信息。查看表结构 在 表 区域，将需要查看结构的表拖拽至右上方区域，单击 图标后，即可查看表的结构信息。查看表数据 在 表 区域...
MMA安装与配置
环境准备 其他环境要求根据不同的数据源会有所不同，具体请根据实际情况参见 Hive数据迁移 或 MaxCompute数据迁移。安装Linux操作系统。安装JDK1.8及以上版本的Java。安装MySQL Server 5.7及以上版本。下载并安装与Hive版本对应的MMA工具。...
Lindorm外部表（云原生多模数据库）
使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将MaxCompute数据输出到Lindorm表中。本文为您介绍如何通过MaxCompute创建Lindorm外部表并映射Lindorm数据源。背景信息 ...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
- 产品推荐
- 这些文档可能帮助您