基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
模块 对应阿里云产品 说明 在线数据库 云数据库RDS 准备的入湖数据来源，即数据湖的数据来源。实时计算 实时计算Flink版 准备的入湖数据来源，即数据湖的数据来源。数据入湖 数据湖构建DLF 对接在线数据库，管理入湖数据来源。数据湖存储与...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
项目管理（新版）
创建项目 MaxCompute控制台创建的Project允许被各客户端使用，DataWorks提供统一的全链路大数据开发治理平台，紧密的集成MaxCompute，其工作空间标准模式不支持绑定存量MaxCompute项目。推荐您直接通过DataWorks创建MaxCompute项目并进行...
阿里云流播放器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
集群概述
集群指运行高性能计算的节点集合，可以提供单节点不能提供的强大计算能力，拥有高性能、弹性扩展、稳定可靠等优点。本文介绍集群涉及的基本概念和功能。节点 E-HPC集群中的每个节点是一台ECS实例。按节点功能分类，可以分为登录节点、管控...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
概览
价格计算器：根据所选的集群细节以及存储大小，预估整体费用。资源包计算器：您可以根据您的业务情况和使用时长预估所需的计算量和存储容量，并给出所需的存储包和固定规格计算包的规格建议。场景示例 场景一：阿里云账号下对应区域所有...
服务等级协议
数据库管理工具 数据库自治服务服务等级协议(SLA)数据管理服务等级协议 大数据计算 数据计算与分析 Elasticsearch服务等级协议 Flink全托管服务等级协议 云原生大数据计算服务MaxCompute服务等级协议 图计算服务服务等级协议 实时数仓...
向量计算（Proxima CE）概述
通过可选的配置参数，支持高级计算能力：支持多种距离计算方式，主要包括 squared_euclidean/inner_product/Hamming 等，详情请参考 可选参数 中的 distance_method 参数。支持设定相似度阈值，高于阈值的向量会被过滤，详情请参考 可选...
阿里云电子政务云产品全家福
阿里云电子政务云平台提供弹性计算类、网络、数据库、存储、大数据、中间件、IoT等品类丰富的产品及高标准的安全合规服务，用以支撑多种政务类业务场景，例如：城市大脑，合规应用平台等。截至文档发布时间，阿里云电子政务云共计上线95款...
将服务发布为按量售卖的云市场商品
计算巢控制台将服务发布上线之后，服务商可以选择在云市场上架商品并绑定已经发布上线的服务，从而打通计算巢服务和云市场的商品交易链路，便于用户购买服务，若商品是按使用量进行计费，可选择按量售卖。本文介绍如何将计算巢服务上架云...
自研内核
支持 全密态数据库，对数据库表中的敏感数据列进行加密，这些列中的敏感数据将以密文进行传输、计算和存储。新增半同步模式，支持自主配置最大保护、最高可用、最高性能等 实例保护级别。支持 逻辑复制槽故障转移（Logical Replication ...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
计费概览
通过阅读本文，您可以快速了解云数据库RDS的计费方式、计费组成等信息。计费方式 包年包月（预付费）定义：包年包月也称为预付费，即在新建实例时支付费用。适用场景：适合长期需求，购买时长越长，折扣越多。计费方式转换：包年包月可以...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
环境准备
您还可以根据需要绑定Hologres（可选）、E-MapReduce（可选）引擎，操作详情请参见 绑定Hologres计算引擎 和 绑定E-MapReduce计算引擎。完成绑定引擎后，后续您才可以创建对应引擎的DataWorks数据开发节点，开发并运行对应引擎的计算任务。...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
跨地域灾备
当您需要保证MaxCompute作业持续运行时，MaxCompute提供跨地域（Region）灾备功能，支持以项目（Project）为单位远程备份数据和元数据，确保备份地点与数据源的地理距离超过一百公里，以提升数据安全性。您能够自定义选择备份目标地域，并...
资源使用总览
资源使用总览页面为您展示指定日期和工作空间内的资源使用相关指标，包括DataWorks任务资源使用情况、计算存储资源使用情况、资源使用排行及异动分析。便于您及时了解资源使用情况，为合理使用资源做出判断。使用限制 仅阿里云主账号和拥有...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
购买包年包月集群
步骤1：完成基础配置 基础配置包括购买集群的基础需求（计费类型、地域可用区）以及集群所需的基础资源（数据库引擎、集群计算规格、数据库代理、存储）。完成基础设置后，单击 下一步：集群配置。前往 PolarDB集群购买页面。选择 计费类型...
管理服务
数据处理函数资源需求大，可以选择大规格实例。创建服务 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在顶部菜单栏，选择地域，然后在 服务列表 页面，单击 创建服务。在 创建服务 面板，填写服务名称和描述，并按需设置以下配置...
新增和使用独享调度资源组
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 配置...
快速创建函数
可选：首次登录用户，界面弹出 阿里云服务授权 对话框，单击 确定。授权成功后 函数计算 就拥有访问您的VPC、ECS、SLS及容器镜像服务等云资源的权限。关于服务关联角色的详细信息，请参见 服务关联角色。步骤二：创建函数 登录 函数计算...
计算成本优化
作业请求量相关术语：说明 MaxCompute使用阿里云和达摩院自研的周期识别和分解算法，依据指定包年包月一级Quota组历史30天的实际作业请求数据，充分考虑其中的周期性和波动性，对不同资源配置方案下的计算资源CU数和运行时间进行预估。...
RDS MySQL同步至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例...
快速创建函数
使用 函数计算，您无需采购和管理服务器等基础设施，只需编写并上传代码或镜像，就可以实现弹性可靠的应用。本文介绍如何在 函数计算 控制台快速开发一个简单的Serverless Hello World函数。背景信息 通过函数计算控制台快速创建函数的流程...
Hive统一元数据
计算存储分离。EMR上可以支持将数据存放在阿里云OSS中，在大数据量的情况下将数据存储在OSS上会大大降低使用的成本，EMR集群主要用来作为计算资源，在计算完成之后可以随时释放，数据在OSS上，同时也不用再考虑元数据迁移的问题。数据共享...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...
E
返回 e 的值。此函数为MaxCompute 2.0扩展函数。命令格式 double e()返回值说明 返回DOUBLE类型。使用示例-返回2.718281828459045。select e();相关函数 E函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
PI
返回π的值。此函数为MaxCompute 2.0扩展函数。命令格式 double pi()返回值说明 返回DOUBLE类型。使用示例-返回3.141592653589793。select pi();相关函数 PI函数属于数学函数，更多数据计算、数据转换的相关函数请参见 数学函数。
产品概述
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 1.0 核心能力采用标准关系型数据库技术实现，配合完善的...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
IDMapping在离线一体化解决方案
基于阿里云大数据平台产品，底层大数据平台MaxCompute（三）GraphCompute在离线架构 在离线架构以GraphCompute引擎和图算法为中心，可以无缝对接底层数据处理层MaxCompute，承接上层业务的查询能力提供在线服务层。（四）技术实现细节 整个...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品架构
本章主要介绍物联网边缘计算的产品架构。产品架构如下图所示。物联网边缘计算主要涉及设备端、边缘计算端和云端三个部分：设备端...云端 设备数据上传云端后，可以结合阿里云功能，如大数据、AI学习等，通过标准API接口，实现更多功能和应用。
行业趋势与背景
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。PolarDB-X 核心能力通过标准关系型数据库技术实现，配合完善的管控运...
- 产品推荐
- 这些文档可能帮助您