配额
配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...
步骤二：规划数仓
在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 ...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
步骤二：规划数仓
在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 ...
就绪检测节点
在场景运行开始时，就绪检测节点可检测数据源是否符合设定的条件，如果不符合，则无法继续运行场景。本文介绍就绪检测节点的配置参数说明。节点属性 节点属性 界面关键参数说明如下：参数 说明 节点名称 节点的名称。节点标识 节点的唯一...
就绪检测节点
在场景运行开始时，就绪检测节点可检测数据源是否符合设定的条件，如果不符合，则无法继续运行场景。本文介绍就绪检测节点的配置参数说明。节点属性 节点属性 界面关键参数说明如下：参数 说明 节点名称 节点的名称。节点标识 节点的唯一...
导入数据
数据查询提供数据导入功能，可将数据直接进行导入，并且提供快速预览和一键探查。本文介绍如何导入数据。前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、...
导入数据
数据查询提供数据导入功能，可将数据直接进行导入，并且提供快速预览和一键探查。本文介绍如何导入数据。前提条件 已新建导入数据所需的云计算资源，具体操作，请参见 新建云计算资源。说明 支持进行数据导入的云计算资源有：RDS MySQL、...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
应用场景
双11使用场景 每年一度的双11购物狂欢节，数据库自治服务DAS以持续的创新为之保驾护航，同时也在延续它一次次华美的蜕变。从最初面向DBA的工具化辅助诊断，到Self-driving Platform理念提出，开始孵化和锤炼数据库自治能力，随后DAS自治...
TableTunnel
TableTunnel是访问MaxCompute Tunnel服务的入口类，仅支持表数据（非视图）的上传和下载。TableTunnel接口定义及说明 TableTunnel接口定义如下，详情请参见 Java-sdk-doc。public class TableTunnel { public DownloadSession ...
GTX_FPGA 最佳实践
GTX-FPGA 介绍 GTX-FPGA产品是由 未来实验室 GTX-Laboratory 开发的全基因组分析加速工具，采用CPU和FPGA协同工作的异构加速技术，利用各自的特性进行基因数据的高性能计算。可以将30X的全基因组数据分析时间从30小时缩短至30分钟；将100X...
HASH
使用示例 示例1：计算相同数据类型的输入参数的Hash值。命令示例如下。返回66。select hash(0,2,4);示例2：计算不同数据类型的输入参数的Hash值。命令示例如下。返回97。select hash(0,'a');示例3：任一输入参数为空或NULL。命令示例如下。...
升级和降配
如果您购买的MaxCompute包年包月资源无法满足或者超过您的业务计算量需求，需要购买更多资源以支撑业务需求或者降低资源以减少费用，您可以通过相应的资源升级和资源降配操作进行规格变配。背景信息 您在使用MaxCompute产品过程中，如果...
兼容性概述
BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
功能概览
VCS提供从视频采集、存储、到多视觉算法融合计算、数据分析的全过程，向企业、开发商和个人提供能够快速构建基于实时视频数据、图片数据等进行智能分析应用的服务。VCS功能如下 接入服务 支持仅国标GB/T28181-2016版协议的设备（包含NVR、...
生态对接
商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的形式展示给决策者，帮助高层管理者做出更明智的业务决策。MaxCompute支持的BI工具如下。商业BI工具 工具 版本要求 ...
按量付费闲时版
计费说明 类型 计费公式 价格 SpotSQL作业（指计算配额为os_SpotQuota的普通SQL或查询加速SQL作业）SpotSQL作业当日总费用=计算输入数据量×SQL复杂度×单价 计费单价如下：公共云：0.1元/GB 金融云：0.19元/GB 引用外部表的SpotSQL作业...
通过函数计算节点实现GitHub实时数据分析与结果发送
阿里云原生大数据计算MaxCompute 阿里云对象存储OSS 阿里云函数计算FC MaxCompute配置 数据源类型 显示当前数据源类型，即MaxCompute。数据源名称 选择 步骤二 中创建的MaxCompute数据源。OSS配置 数据源类型 显示当前数据源类型，即OSS。...
快速入门
PyODPS可在DataWorks等数据开发平台中作为数据开发节点调用。这些平台提供了PyODPS运行环境和调度执行的能力，无需您手动创建ODPS入口对象。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API...
MAX_PT
返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现，select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...
项目概述
在蚂蚁隐私计算服务平台的数据应用中，以项目的形式对成员、权限、节点和数据等要素进行隔离。根据不同的应用类别，项目分为 FL、MPC、SCQL 和 PSI 四种类型。在进入项目完成数据的开发和应用前，您需要先创建项目，并完成项目的配置。在...
购买指引
其他产品计费：大数据引擎的计算与存储等费用不包含在DataWorks的费用中，例如，您还开通使用了 MaxCompute、Hologres、E-MapReduce 等计算引擎或存储产品，这类产品的费用需参考对应产品的计费逻辑。进入 DataWorks售卖页 即可购买所需...
公共规范
本文为您介绍建设MaxCompute数据仓库的公共规范。层次调用约定 应用层应优先调用公共层数据，必须存在中间层CDM数据，不允许应用层跨过中间层CDM从ODS层重复加工数据。中间层CDM需要积极了解应用层数据的建设需求，将公用的数据沉淀到公共...
通过选择已有表新建数据集
从数据源中引入业务所需的数据集，以便在模型画布中编辑业务模型时使用数据集。本文介绍如何通过选择已有表新建数据集。前提条件 已创建云计算资源，并通过查看云计算资源的物理表更新缓存表。具体操作，请参见 新建计算资源。背景信息 ...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
2024年功能发布记录
云数据库MongoDB版（副本集架构）云数据库MongoDB版（分片集群架构）RDS MySQL数据库触发器 新增 您可以在数据传输服务DTS（Data Transmission Service）控制台创建数据同步任务，实时或定时将 云数据库 RDS MySQL 版 实例的增量数据同步至...
Tunnel SDK示例汇总引导
服务地址的选择会直接影响您上传数据的效率及计量计费。详情请参见 Tunnel SDK简介。数据上传时，建议您使用TunnelBufferedWriter，详情请参见 BufferedWriter 相关的示例代码。不同版本SDK在使用时会有不同，文档示例中的版本信息仅供参考...
规格常见问题
但是当同一地域已经开通按量计费模式时，如果作业量较大，您可以考虑对于消耗资源少的作业采用包年包月计费模式，消耗资源较大的作业采用按量计费模式，保证作业运行时一直有计算资源。更多包年包月项目使用按量计费资源信息，请参见 包年...
云计算资源类型
云计算资源是 数据资源平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...
云计算资源类型
云计算资源是 企业数据智能平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...
写数据表
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
输入节点
输入节点可作为算法流程的输入节点，为下游节点提供源数据。本文介绍输入节点的节点属性和运行属性的配置参数说明。说明 若场景任务中，计算节点已指定了上游物理表，则流程中可以没有输入节点。节点属性 输入节点关键参数说明如下：参数 ...
- 产品推荐
- 这些文档可能帮助您