什么是数据库代理
PolarDB 集群地址本身并没有最大连接数的限制，连接数的限制主要由后端数据库中计算节点的规格决定。对于读写模式的集群地址由于一个应用连接会与后端数据库中每个计算节点各建立一个连接，所以应用能使用的最大连接数就是单个计算节点的...
RDS搭配大数据计算服务实现大规模数据计算
本文介绍RDS MySQL如何结合大数据计算服务MaxCompute使用。开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 ...
数据开发
节点模式 节点模式任务主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景，支持灵活的节点开发模式，支持对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等进行配置和管理。支持批量离线、在线和流式...
功能简介
节点模式 节点模式任务主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景，支持灵活的节点开发模式，支持对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等进行配置和管理。支持批量离线、在线和流式...
功能简介
节点模式 节点模式任务主要适用于计算节点相对独立，整个流程由单个节点组成的这类简单数据处理场景，支持灵活的节点开发模式，支持对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等进行配置和管理。支持批量离线、在线和流式...
计量计费
本文为您介绍如何估算MaxCompute SQLML作业的费用。背景信息 通常情况下，每个算法组件由多个子任务组成。...查看账单信息 MaxCompute SQLML作业，在账单中体现的是 大数据计算服务MaxCompute+机器学习（PAI）两个产品的费用。
产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
整体架构
湖仓版（3.0）架构如下：数据源 数据管道APS可以一键低成本接入数据库、日志、大数据中的数据。存储层+计算层 支持自研引擎，羲和计算引擎和玄武存储引擎。新增集成的开源引擎，Spark计算引擎和Hudi存储引擎。可以借助开源的能力为您提供更...
什么是DataTrust
DataTrust，结合了大量的场景实践，创新性提出了智能计算模式，能保障安全性的前提下，能根据场景、数据量、网络等情况，自动选择最优的协议、最优的计算引擎、最优的算法，自动为该场景匹配最优的计算模式。优质供给 随着全域群体智能兴起...
IoT数据自动化同步至云端解决方案
物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
AUTO模式数据库与DRDS模式数据库
AUTO模式数据库与DRDS模式数据库主要功能对比：功能项 AUTO模式数据库 DRDS模式数据库 透明分布式 默认主键分区 支持。若建表时不指定分区定义，将自动按主键进行分区。不支持。默认全局二级索引 支持。索引不指定分区列时，将自动索引列...
Serverless Spark概述
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
基于Delta lake的一站式数据湖构建与分析实战
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
外部表概述
MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式存储在内部MaxCompute表格中的结构化数据。对于MaxCompute表外的各种用户数据（包括文本以及...
高性能版实例
恢复模式中，系统会对残留的锁和内存执行一些清理操作，并通过回放WAL文件来保证数据的完整性。恢复期间，实例会暂时无法服务，完成恢复后，实例会恢复正常。高可用版实例恢复一般耗时5~10分钟（min），而高性能版实例通过更改CheckPoint...
连接方式概述
本节主要介绍连接和访问 OceanBase 数据库 Oracle 模式租户的方法。当前主要支持通过客户端、驱动或 ORM 框架连接到 OceanBase 数据库。客户端 在连接 OceanBase 数据库的 Oracle 租户时，支持的客户端如下：OceanBase 客户端（OBClient）...
什么是EMR Serverless StarRocks
在数据湖分析场景中，StarRocks主要负责数据的计算分析，而数据湖则主要负责数据的存储、组织和维护。使用数据湖的优势在于可以使用开放的存储格式和灵活多变的Schema定义方式，可以让BI、AI、AdHoc、报表等业务维持在统一的单点身份可信...
2023年
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
Hive统一元数据
EMR上可以支持将数据存放在阿里云OSS中，在大数据量的情况下将数据存储在OSS上会大大降低使用的成本，EMR集群主要用来作为计算资源，在计算完成之后可以随时释放，数据在OSS上，同时也不用再考虑元数据迁移的问题。数据共享。使用统一的...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
创建集群
计算预留资源 计算预留资源用于数据计算。增加计算资源可以提高数据查询速度。如果需要创建AnalyticDB MySQL内表，计算预留资源需大于0 ACU。计算预留资源为0 ACU时，只能使用外表。如果创建集群时选择的计算预留资源为0 ACU，集群创建成功...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。本文主要...
EMR-3.22.x版本说明
更新内容 组件 详细信息 JindoFileSystem 多种存储模式 Block模式：数据以Block形式存储在后端存储OSS上，本地Namespace服务维护元数据信息。在元数据性能和数据性能上，Block模式较优。Block模式支持不同的存储策略，包括WARM存储策略...
如何对JSON类型进行高效分析
针对海量半结构化数据计算与分析，本文将以半结构化数据JSON为例，首先简述传统数据库与数据仓库的解决方案，然后详细描述 PolarDB IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点，最后给出 PolarDB IMCI列式JSON实时分析与扩展流...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
基于混合负载的查询优化
混合计算引擎 提供Interactive与Batch计算模式，同时提供低延迟实时分析能力与大数据的高吞吐批计算能力，分别满足交互式查询与复杂离线计算场景。Interactive模式：采用MPP计算架构，调度粒度为整个查询所有任务，计算过程中pipeline流式...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
通过函数计算节点实现GitHub实时数据分析与结果发送
阿里云原生大数据计算MaxCompute 阿里云对象存储OSS 阿里云函数计算FC MaxCompute配置 数据源类型 显示当前数据源类型，即MaxCompute。数据源名称 选择 步骤二 中创建的MaxCompute数据源。OSS配置 数据源类型 显示当前数据源类型，即OSS。...
JindoFS实战演示
2021-07-13 在AI训练场景中处理HDFS数据面临很多问题，例如计算存储分离，数据读取性能较差，无法满足AI训练作业的IO性能、很多深度学习训练框架并不适配原生HDFS接口，大大增加了开发难度、HDFS集群压力大，甚至存在稳定性问题。...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
2023年
MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务，您需要将这些版本的计算资源转换为...
公告
该地域项目的存储、下载后付费账单归属的 产品明细 将从 大数据计算服务MaxCompute（包月）变成 大数据计算服务MaxCompute（按量付费），同时对应的用量明细选择的计量规格变成 大数据计算服务MaxCompute（按量付费）。当您使用的包年包月...
2024-01-04版本
本文为您介绍2024年01月04日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次升级计划在全网分步骤完成灰度，具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
列存索引行列融合基础组件介绍
然而，由于TP请求和AP请求的访问模式截然不同，高效处理这两种请求依赖于不同的存储格式和计算模式。因此，HTAP数据库需要存储两种不同格式的数据，并在处理不同的请求时选择不同的模式对相应数据进行计算。云原生数据库PolarDB采用了上图...
新功能发布记录
配置ECS远程命令节点 05月 功能名称 变更类型 功能描述 相关文档 任务编排中新增Lindorm Spark节点 新增 通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。配置Lindorm...
克隆集群
克隆源类型为备份集 即仅需要基于备份集进行恢复，AnalyticDB MySQL版 会通过下载备份集的方式将数据恢复到一个新集群中，备份恢复时间如下：若源集群为 预留模式，备份恢复时间与集群中的备份集大小以及节点组数量有关，其中每个节点组的...
概述
配置跨库Spark SQL节点 Lindorm Spark 通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。配置Lindorm Spark节点 ADB Spark 支持周期性、有顺序地调度Spark作业。配置...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
- 产品推荐
- 这些文档可能帮助您