IDMapping在离线一体化解决方案
（一）背景介绍 对于几乎所有的互联网企业，对于识别、追踪用户身份都有强烈的需求，精准识别用户身份后，就可以收集用户个性化的行为、身份数据，比如用户浏览了什么商品，看了什么视频，去了哪个餐厅等等，从而可以对搜索，广告，推荐...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
CORR
计算两列数据的皮尔逊系数（Pearson Correlation Coefficien）。此函数为MaxCompute 2.0扩展函数。命令格式 double corr(,)参数说明 col1、col2：必填。...相关函数 CORR函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
概述
Spark全密态数据计算引擎常用于解决数据存储与计算安全、敏感数据合规和数据安全共享场景中的数据安全问题。以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
Paimon外部表
阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎（如Spark、Hive或Trino）都与Paimon有完善的集成。借助Apache Paimon，您可以快速构建自己的数据湖存储服务在存储服务OSS上，并接入MaxCompute实现数据湖的分析。关于...
云产品集成
常见云产品如下：大数据开发治理平台 DataWorks 实时计算 Flink 版 数据库管理 DMS DataV 数据可视化 Quick BI 数据分析与展现 前提条件 已获取 OceanBase 数据库的基本连接信息，详细步骤请参见 获取连接参数。大数据开发治理平台 ...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
概述
库仓一站式（Zero-ETL）传统数据仓库，会通过数据ETL方式同步数据，采用MPP/BSP等并行计算架构可以很好解决OLAP复杂查询，但面相高并发的数据在线查询（Serving场景）会有明显的资源并发瓶颈，会通过数据回流到OLTP数据库提供在线查询。...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
创建通用项目
如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算存储预算较高，推荐此模式。Basic模式：完成项目的创建后，系统默认生成了Basic项目（开发和生产一体的项目）。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发...
历史功能发布记录（2023年及之前）
计算巢支持服务创建者在服务中创建快照策略并应用于对应的云盘，并利用快照回滚计算巢服务实例的云盘，保护系统盘和数据盘的数据。2023-12-31 创建包含快照策略的服务并使用快照回滚服务实例的云盘 计算巢审核申请页中新增申请信息风险审核...
2024年
MaxCompute近实时增全量一体化架构介绍 2024-04-24 新增基于MaxFrame实现大语言模型数据处理 新说明 相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础，而MaxFrame分布式计算能力可以帮助您更加高效、...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
计费方式3：包年包月
相比普通的按量付费方式，尽管在购买之初就支付了计算节点的费用，但在业务量大的情况下使用包年包月的购买方式更优惠。搭配存储包 PolarDB 的存储空间可根据数据量自动伸缩无需您手动配置，您只需为实际使用的存储空间付费。由于存储空间...
选择付费方式
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
2022年
存储抵扣包容量越大购买时长越长优惠力度越大，如果您购买了存储抵扣包，对应计费项的用量由抵扣包自动抵扣。2022-11-01 全部地域 计算抵扣包和存储抵扣包 2022-10 功能名称 功能描述 发布时间 发布地域 相关文档 支持数据结构由 project....
挂载NAS
1.背景 绝大部分计算模型下，客户数据直接存储于云端 NAS 里。为了方便客户读写云端计算数据，批量计算根据用户提供的挂载信息，自动将 NAS 的挂载点挂载到本地目录。完成 NAS 挂载后，对挂载目录里数据的读写行为将和读写本地数据完全相同...
全球数据库市场发展与机遇
经多年发展，国外数据库厂商在云数据库领域中依然走在世界前列。云是数据库市场的未来。根据Gartner公司发布的分析报告，2018年全球数据库管理系统总收益已达到460亿美金，同比上升18.4%。其中，云数据库收益贡献率为68%。Gartner预测，...
自定义函数（邀测中）
AnalyticDB for MySQL 未开启压缩，将数据直接传输至函数计算服务，函数计算服务经过计算后，将计算结果使用GZIP格式压缩后返回给 AnalyticDB for MySQL，导致 AnalyticDB for MySQL 无法解析数据。调用 REMOTE_CALL 函数时，出现 parse ...
数据传输费用（公网下载）
本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费，并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单，您可以进入 费用中心 查看。下载计费规则如下。计费公式 价格 说明 一次下载...
计算抵扣包和存储抵扣包
000 33000 75%24,750.00 计算抵扣包选择示例 例如您的阿里云账号开通使用MaxCompute上海区域的按量计费服务，主要使用SQL和Spark进行数据计算，每个月计算费用原价大概有 1000 元，一年则有 12000 元，那么您可以考虑购买计算抵扣包。...
应用场景
随着大数据时代的到来，图计算在处理海量关系数据上的优势也越来越明显，在商品推荐、社交网络、金融风控、网络安全等场景上应用也日趋广泛。个性化推荐 图计算引擎在处理海量关系数据上具备天然优势，能够提高实时推荐的效率和准确性。以...
功能概览
VCS提供从视频采集、存储、到多视觉算法融合计算、数据分析的全过程，向企业、开发商和个人提供能够快速构建基于实时视频数据、图片数据等进行智能分析应用的服务。VCS功能如下 接入服务 支持仅国标GB/T28181-2016版协议的设备（包含NVR、...
RDS外部表
使用RDS数据源创建MaxCompute的外部表并加载数据 使用RDS数据源创建MaxCompute外部表的步骤如下：登录RDS数据库，执行建表语句并插入数据。操作详情请参见 通过DMS登录RDS数据库。建表示例如下：CREATE TABLE `rds_mc_external`(`id` int...
性能指标
计算资源 数据源 数据量 传输通道 传输带宽 任务平均运行时间 不使用缓存 MaxCompute 1000*1000 CU MaxCompute 5亿*1亿 ODPS CopyTask 1000Mb/s 39分钟 使用缓存 MaxCompute 1000*1000 CU MaxCompute 5亿*1亿 ODPS CopyTask 1000Mb/s 19...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数...
购买方式2：按量付费
由于存储空间是根据数据量和存储时长收费的，若您需要的数据量较大（如1000 GB或以上），我们推荐配合存储包一起使用，能够享受一定的折扣优惠，且购买的存储包容量越大，折扣越多。说明 存储包分为 中国内地通用 和 中国香港及海外通用 两...
购买方式2：按量付费
由于存储空间是根据数据量和存储时长收费的，若您需要的数据量较大（如1000 GB或以上），我们推荐配合存储包一起使用，能够享受一定的折扣优惠，且购买的存储包容量越大，折扣越多。说明 存储包分为 中国内地通用 和 中国香港及海外通用 两...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
什么是物联网边缘计算
物联网边缘计算可以结合阿里云的大数据、AI学习、语音、视频等能力，打造出云边端三位一体的计算体系。功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件，是一个边缘实例业务的核心，提供整个边缘实例所需要的...
PERCENTILE_APPROX
array<double>percentile_approx(double[,double],array([,<p2>.])[,])命令说明 percentile_approx 是从编号1开始计算，假设某列有 n 条数据，计算该列的 p 百分位点，则 percentile_approx 会先对该列进行升序排序，假设排序后该列数据为...
UDT示例
聚合操作 UDT实现聚合的原理是，先用内建函数 COLLECT_SET 或 COLLECT_LIST 将数据转变成List，之后对该List应用UDT的标量方法计算数据的聚合值。示例如下，计算BigInteger的中位数（由于数据是 java.math.BigInteger 类型的，所以不能直接...
世纪联华
本文介绍如何通过函数计算、API网关、日志服务及表格存储云服务，再配合Serverless架构的快速扩容、弹性高可用的特性，轻松解决世纪联华流量突增及服务器需求过大的问题。客户介绍 世纪联华是一个超过170余家，具有全国网点布局，在快速...
世纪联华
本文介绍如何通过函数计算、API网关、日志服务及表格存储云服务，再配合Serverless架构的快速扩容、弹性高可用的特性，轻松解决世纪联华流量突增及服务器需求过大的问题。客户介绍 世纪联华是一个超过170余家，具有全国网点布局，在快速...
- 产品推荐
- 这些文档可能帮助您