加工数据
2.配置调度属性 通过以下配置实现调度场景下，每日00:15待上游 ods_raw_log_d 节点将存储于OSS的user_log.txt数据同步至MaxCompute的ods_raw_log_d表后，可触发当前 dwd_log_info_di 节点对ods_raw_log_d表数据进行加工，加工结果写入dwd_...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
StarRocks Connector
StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。本文为您介绍如何通过StarRocks Connector访问MaxCompute。...
MaxCompute UDF（Python）常见问题
当您通过DataWorks上传MaxCompute资源时，从DataWorks同步至MaxCompute会存在延时情况，非最新资源。原因五：Python环境版本不正确。MaxCompute默认采用Python 2运行作业，当Python代码中存在非ASCII编码字符时，运行会报错。解决措施：...
RAM权限
MaxCompute数据加密相关信息请参见 存储加密。权限策略 RAM支持两种类型的权限策略：由阿里云管理的系统策略和由客户管理的自定义策略。RAM系统策略。MaxCompute在RAM上提供了两种系统策略：AliyunMaxComputeFullAccess：此策略权限将包含...
Java UDTF
更多MaxCompute数据类型版本信息，请参见 数据类型版本说明。为确保编写Java UDTF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute Type Java Type Java ...
Java UDAF
更多MaxCompute数据类型版本信息，请参见 数据类型版本说明。为确保编写Java UDAF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。MaxCompute Type Java Type Java ...
Yonghong BI连接MaxCompute
使用说明 Yonghong Desktop抽取MaxCompute数据集时，最高行数限制为100W行，如果需要解除该限制，您可以采取下述方法：在 bi.properties 文件（本地文件路径：${Yonghong Desktop}\YonghongBI\Yonghong\bihome）中添加参数 vendor.limit....
网易有数BI连接MaxCompute
查看表结构及表数据 成功添加MaxCompute数据源后，您可以在网易有数BI的 数据连接 下，单击目标表名，即可查看表结构及表数据信息。可视化分析数据 在报告编辑页面的顶部菜单栏，选择目标图表类型，然后将右侧的 维度 或 度量 字段拖拽到 ...
准备工作
示例说明：本文以创建一个MaxCompute数据表，利用MaxFrame进行开发处理，并将结果存储到另一个MaxCompute表中为例，为您介绍主要操作流程。通过本地客户端访问 MaxFrame 在系统的命令行执行窗口（例如Windows的CMD窗口）中，通过pip命令...
项目空间操作
详情请参见 MaxCompute数据动态脱敏。自定义的动态脱敏规则。odps.sql.metering.value.max 设置单SQL消费限制值。详情请参见 消费监控告警消费控制。无。odps.sql.acid.table.enable 设置是否开启ACID机制。更多ACID信息，请参见 ACID语义...
MaxCompute表的高级功能
表（分区）数据从最后一次更新时间算起，在指定的时间段（即生命周期）内如果没有变动，则此表（分区）将被MaxCompute自动回收。生命周期只能以表为单位进行设置。创建表test_lifecycle，指定其生命周期为100天。create table test_...
集成SQLAlchemy
PyODPS集成了SQLAlchemy，可以使用SQLAlchemy查询MaxCompute数据。本文为您介绍如何创建连接，并调用SQLAlchemy接口。创建连接 创建连接语法格式如下。import os from sqlalchemy import create_engine#确保 ALIBABA_CLOUD_ACCESS_KEY_ID ...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
2021年
使用HBase外部表，可以同步HBase中的数据到MaxCompute进行后续ETL处理，也可以关联HBase外部表进行联邦计算，或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。2021-02-08 华北2...
MaxCompute如何访问Hologres
Hologres具备高并发地实时写入和查询数据的能力，同时支持数据无需迁移就能高性能加速分析MaxCompute数据，通过联邦分析Hologres实时数据与MaxCompute离线数据，实现离线实时一体化的数据仓库产品解决方案。您可以使用MaxCompute和Hologres...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
数据迁移
迁移MaxCompute数据至其它业务平台：迁移MaxCompute数据至OSS，详情请参见 迁移MaxCompute数据至OSS。迁移MaxCompute数据至OTS，详情请参见 迁移MaxCompute数据至OTS。MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化...
运行模式
在创建的业务流程中，从 数据开发 组件中选择 ODPS Spark 节点。双击工作流中的Spark节点，对Spark作业进行任务定义。ODPS Spark节点支持两种 spark版本 和 语言。选择不同的 语言，会显示相应不同的配置。您可以根据界面提示进行配置，...
普通模式和Hive兼容模式下SQL的差异
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
内建函数常见问题
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，如下隐式类型转换会被禁用，存在精度损失或报错的风险：STRING->BIGINT STRING->DATETIME DOUBLE->BIGINT DECIMAL->DOUBLE DECIMAL->BIGINT 此时，您可以...
实现指定用户访问特定UDF最佳实践
DataWorks工作空间的MaxCompute属性介绍，请参见 MaxCompute数据权限控制详情。Role Policy结合Project Policy实现指定用户访问指定UDF。通过Policy可以精细化地管理具体用户对特定资源的具体权限。说明 为了安全起见，建议初学者使用测试...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
创建DataWorks工作空间详情请参见 创建并管理工作空间，绑定MaxCompute数据源请参见 绑定MaxCompute引擎。操作步骤 步骤一：授予MaxCompute访问DLF和OSS的权限 操作MaxCompute项目的账号未经授权无法访问DLF和OSS服务，您需要执行授权操作...
数据类型版本说明
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
使用Flink（流式数据传输-新版）
Flink 数据类型 MaxCompute 数据类型 CHAR(p)CHAR(p)VARCHAR(p)VARCHAR(p)STRING STRING BOOLEAN BOOLEAN TINYINT TINYINT SMALLINT SMALLINT INT INT BIGINT LONG FLOAT FLOAT DOUBLE DOUBLE DECIMAL(p,s)DECIMAL(p,s)DATE DATE TIMESTAMP...
利用MaxCompute External Volume处理非结构化数据
External Volume是MaxCompute提供的分布式文件系统和数据存储方案，为OSS路径在MaxCompute中的映射对象。MaxCompute通过创建External Volume去挂载OSS的一个路径，利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制...
表概述
系统架构 您可以通过如下系统架构图了解MaxCompute数据的处理流程。MaxCompute中表的类型如下。基本概念 项目 项目（Project）是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema。项目是进行多用户隔离和访问控制的主要边界...
通过DataWorks数据集成迁移日志数据至MaxCompute
在 导入模板 对话框中，选择从来源端的LogHub数据源同步至目标端的ODPS数据源的导入模板，单击 确认。导入模板后，根据自身需求编辑代码，示例脚本如下。{"type":"job","version":"1.0","configuration":{"reader":{"plugin":"loghub",...
压缩数据从OSS迁移至MaxCompute
本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。前提条件 已开通MaxCompute并创建项目，详情请参见 创建MaxCompute项目。已开通OSS并创建存储空间，且Bucket中有压缩数据SNAPPY...
结果验证
完成数仓的优化后，您需要对结果进行评估验证，确认优化的有效性。如果您在优化过程中改变了表结构，...测试项 测试值 数据同步时间 占用存储大小 查询执行时间 查询费用预估$icmsDocProps={'productMethod':'created','language':'zh-CN',};
数据质量保障原则
对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不...
数据输入输出
从非分区表 test_odps_table 中获取数据，通过MaxFrame进行转换并将其存储到另一张分区表 test_processed_odps_table 中，代码示例如下：import maxframe.dataframe as md df=md.read_odps_table("test_odps_table")processed_df=df[df.A>...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
公开数据集概述
简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的数据均存储在MaxCompute产品的公开项目BIGDATA_PUBLIC_DATASET的不同Schema中。...
SELECT MATERIALIZED VIEW
背景信息 物化视图状态分为如下两种：物化视图有效 执行查询语句时，MaxCompute会从物化视图中直接查询数据，不会从源数据中查询数据。物化视图无效 执行查询语句时，MaxCompute无法从物化视图中直接查询数据，会从源数据中查询数据，无法...
使用DataWorks
在 数据来源 下拉列表中选择数据源类型为 MaxCompute(ODPS)，并选择创建好的MaxCompute 数据源名称。选择独享数据集成资源组。选择已创建的独享数据集成资源组，详情请参见 新增和使用独享数据集成资源组。选择数据去向。在 数据去向 下拉...
快速入门
在 计算引擎信息 页签增加MaxCompute实例，在 创建MaxCompute计算引擎 对话框中单击 前往创建，创建MaxCompute数据源。数据源创建方法请参见 创建MaxCompute数据源。如果没有DataWorks工作空间，请创建DataWorks工作空间。配置计算引擎服务...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
- 产品推荐
- 这些文档可能帮助您