云数据源Alibaba PolarDB分布式版
请登录 云原生分布式数据库控制台，获取数据库地址。例：xxxxxxxxxxxxxxxxxxxxxx.drds.aliyuncs.com 请参见 查看数据库信息。端口 数据库的对应的端口号。用户名和密码 数据库对应的用户名和密码。请确保该用户名具备数据库中表的create、...
Echarts 瀑布图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Echarts 极坐标堆叠柱图
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如极坐标堆叠柱图配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
概述
数据访问代理 SOFAStack 数据访问代理是金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。数据访问代理兼容 MySQL 协议和语法，支持分库分表、...
DescribeDrdsDB
DbName String 是 分布式数据库的名称。DrdsInstanceId String 是 PolarDB-X实例ID。返回值 参数名 类型 描述 DbName String 数据库名称。Status String 0-建库中 1-正常 2-建库失败 3-删除中 4-删除失败 5-迁移中 6-迁移失败 CreateTime ...
SmartData常见问题
类似于MaxCompute数仓上的数据处理方式，方式详情请参见 基于MaxCompute数仓上的数据，JindoFS如何帮助机器学习训练？如果使用JindoFS，如何迁移HDFS上的数据？您可以使用Jindo DistCp同步HDFS数据至JindoFS或OSS。Jindo DistCp比Hadoop ...
PolarDB-X历史
DRDS的商业化成功，标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变，以及从分布式数据库中间件到分布式数据库系统实质性跨越。PolarDB-X 1.0阶段 关键字：架构与品牌升级；国计民生项目 2018~2019年，DRDS凭借...
基本概念
分布式链路跟踪 EDAS鹰眼监控系统能够分析分布式系统的每一次系统调用、消息发送和数据库访问，从而精准发现系统的瓶颈和隐患。分布式任务管理 SchedulerX 是阿里巴巴中间件团队开发的一款分布式任务调度产品。用户在应用中依赖SchedulerX-...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
适用场景
若当前数据库中任意一个维度出现瓶颈，或出于对业务不断高速发展提前规划数据库选型的考虑，当下选用 PolarDB-X 1.0 构建分布式数据库，可有效降低后期数据库的扩展及运维压力。在业务发展初期，选择单机数据库还是分布式数据库，需要考量...
实时同步任务延迟解决方案
在未开启分布式运行模式情况下，任务并发建议不超过32，如果超过20则会由于单机资源瓶颈导致任务延迟，此时特定通道可以通过开启分布式运行模式提升性能，目前支持开启分布式运行模式的通道如下：任务类型 源端 目标端 DataStudio ETL任务 ...
产品相关问题
解决大规模分布式任务统一调度的问题，助力企业能够更加迅速地满足业务需求。典型的应用场景包括金融行业结息处理、日切处理、余额缓冲记账、政务数据批处理等。任务调度支持哪些任务类型？任务调度支持的基本任务类型包括：简单任务、集群...
常见问题
但是在一个shard存在至少两个副本，本地表的表引擎为*MergeTree，同时使用分布式表进行读数的场景下，可能会出现读出来的数据少于写入数据的情况。无论是通过分布式表写数据，还是直接写入本地表，每个机器上都会存在数据；而通过分布式表...
文档更新动态（2022年之前）
通用功能 概述 2020-04-09 数据处理 功能拓展 新增实时数据处理，帮助您处理实时计算任务。通用功能 实时数据处理 2020-04-09 实时元表 新增功能 为您介绍如何查看实时元表的详情。通用功能 元表详情 2020-04-09 函数权限 新增功能 为您...
功能特性
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
技术架构
PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的“云原生+分布式”的产品体验。整体架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成...
如何优化数据全量抽取
并且在分布式数据库中，全表排序的吞吐无法通过增加DN数量来提高。改进方案1 每次获取下一页记录时，指定从上次结束的位置继续往后取，这样不需要设置offset，能够避免出现全表扫描的情况。如下为一个按ID进行分页查询的例子：select*from ...
概述
数据同步服务的内核在阿里巴巴跨域长途实时同步、实时增量分发、分布式数据库、大数据等场景中提供着功能丰富和服务稳定的数据方案，支持着阿里巴巴交易异地多活、广告、搜索、大数据实时抽取、商务对账单等双十一媒体大屏等众多业务场景。
顺德农商
解决方案 通过引入阿里“飞天”云计算操作系统、分布式中间件体系 SOFAStack、分布式数据库平台 OceanBase、金融核心套件 bPaaS、mPaaS、金融数据智能平台、移动开发平台等，逐渐打造了覆盖底层 IDC 到上层移动应用在内的金融级全分布式...
深度解析Lindorm搜索索引（SearchIndex）特性
核心特性 Online DDL Operations 作为一个分布式数据库，Lindorm可以横向扩展支持高达亿次每秒的处理能力，如果索引DDL需要阻塞DML，对高并发的业务应用影响将会被放大。借助Lindorm的分布式元数据管理，SearchIndex通过合理的扩展，可以...
C100售前支持相关问题
云数据库PolarDB是阿里巴巴自主研发的新一代关系型分布式云原生数据库，目前兼容三种数据库引擎：MySQL、PostgreSQL、Oracle（高度兼容Oracle语法）。数据库审计支持对这三种数据库引擎进行审计。您可以根据PolarDB的引擎类型选择数据库...
查询性能优化指导
消除分布式（Motion）算子提升性能 在进行连接或聚集操作时，AnalyticDB PostgreSQL 会根据数据分布情况添加分布式算子，对数据进行重分布（Redistribute Motion）或广播（Broadcast Motion）。分布式算子会占用大量的网络资源。如果能够...
性能调优
AnalyticDB MySQL版 做为分布式系统，其优势在于利用多机并行的能力，提升海量数据的处理速度，适合大数据量的分析。在某些场景中，查询计算量不是特别大，AnalyticDB MySQL具备分布式开销，反而查询较慢。也有某些场景下，AnalyticDB ...
产品优势
数据访问代理 提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务，为海量数据访问提供低消耗、高性能、高可用的轻量级解决方案，确保在高并发、数据库异常的情况下依然非常稳定与可靠。数据同步服务 具备多种数据库的日志解析能力...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
背景信息 PolarDB-X 1.0 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式 SQL 引擎和分布式自研存储 X-DB，基于云原生一体化架构设计。PolarDB-X 1.0 可以支撑千万级并发规模，以及百 PB 级海量存储。详情请参见 产品概述。PolarDB-...
PolarDB HTAP实时数据分析技术解密
该方法在诸多Research及Industry领域的工作中都被借鉴并使用，并日益成为分布式数据领域一体化HTAP的事实标准方案。但是应用这个方案的前提是用户需要迁移到对应的NewSQL数据库系统，而这会出现各种兼容性适配问题。一体化的行列混合存储...
查询执行模式
相比较于全内存计算的 Interactive 模式，Batch 模式可以对查询的任务进行分批执行，每个子任务在内存不足的情况下，自适应地将内存数据换出到磁盘，降低数据计算的成本，提升数据处理的容量上限。Interactive模式 AnalyticDB MySQL 接收到...
简介
概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、函数和存储过程，用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询和分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
简介
概述 阿里云自研Ganos时空引擎（以下简称Ganos）提供一系列的数据类型、函数和存储过程，用于在云原生关系型分布式数据库PolarDB中对空间/时空数据进行高效的存储、索引、查询和分析计算。本文档向您介绍在PolarDB中如何使用Ganos对时空...
列存索引技术架构介绍
基于多副本的Divergent Design方法 随着互联网而兴起的新兴数据库产品很多都兼容了MySQL协议，这些分布式数据库产品大部分采用了分布式Share Nothing方案，其一个核心特点是使用分布式一致性协议来保障单个partition多副本之间的数据一致性...
概述
随着业务发展，企业数据呈现出规模化、爆炸式的增长，业务应用要求实时、在线的快速处理。对于数据库运维人员来说，保护企业核心数据的任务越来越具有挑战性，例如数据误删除、相关系统漏洞和勒索病毒、硬件故障，甚至自然灾害都可能造成...
什么是Dataphin
编码研发 资源及函数管理 支持管理各种资源包（例如JAR、文本文件），以满足部分数据处理需求。支持查找与使用内置的系统函数。支持用户自定义函数，以满足数据研发的特殊加工需求。创建资源 新建用户自定义函数 数据萃取 基于Dataphin数据...
MaxCompute近实时增全量一体化架构介绍
在大数据开源生态领域，针对这些问题已经出现了一些典型的解决方案，其中最典型的是Spark、Flink、Trino等开源数据处理引擎，它们深度集成了Hudi、Delta Lake、Iceberg、Paimon等开源数据湖，并以开放统一的计算引擎和数据存储理念为基础，...
2023年
授权实践 2023-09-14 新增（邀测）MaxCompute Notebook使用说明 新说明 MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、...
应用场景
如果交易服务使用数据访问代理来分库分表，虽然数据访问代理本身不支持分布式事务，但是分布式事务可以轻松和数据访问代理集成，使得数据访问代理具备分布式事务的处理能力，解决分库分表后的跨库分布式事务问题。跨服务的分布式事务 例如...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
分析请求调用链路
在分布式微服务调用场景下，TraceId会从最前端的应用节点透传至下游链路各个节点，可根据此TraceId在 EDAS控制台 或 ARMS控制台 查询整体链路处理过程。Service：当前应用的请求处理入口，如Spring Cloud服务、Dubbo服务、HSF服务等。API：...
分析请求调用链路
在分布式微服务调用场景下，TraceId会从最前端的应用节点透传至下游链路各个节点，可根据此TraceId在 EDAS控制台 或 ARMS控制台 查询整体链路处理过程。Service：当前应用的请求处理入口，如Spring Cloud服务、Dubbo服务、HSF服务等。API：...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请参见 基础数据类型。AnalyticDB MySQL 版的建表、分区表和分布表的详情请参见 CREATE TABLE。...
- 产品推荐
- 这些文档可能帮助您