PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
HDFS概述
HDFS适用于大规模数据的分布式读写，特别是读多写少的场景。特性 E-MapReduce集群中HDFS的优势如下：具有高容错性和高可扩展性。提供Shell命令接口。提供Web可视化组件管理界面，方便管理。拥有类似于Linux的文件权限管理。Locality感知，...
DataWorks V3.0
交互式分析：交互式分析（Interactive Analytics）是一种全面兼容PostgreSQL协议，并与大数据生态无缝打通的实时交互式分析产品。交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索，可以让您快速对接现有的BI工具。...
什么是云原生数据库PolarDB分布式版
产品简介 PolarDB-X 是阿里巴巴自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。PolarDB-X 始终保持对阿里巴巴集团“双十一购物狂欢节”所有相关业务的全面支撑。...
常见问题
本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟机、物理机上？可以，SOFAStack 部署支持物理机、虚机机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK？SOFAStack 部署支持多云异构、目前支持华为云、开源 ...
产品体系
同时满足异地容灾、低成本快速扩容的需求，能够解决传统集中式架构转型的困难，并通过打造大规模高可用分布式系统架构，来支撑金融业务创新。SOFAStack 由四大领域模块组成：分布式中间件、运维管理（应用 PaaS）、高阶运维保障、研发效能...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
数据重排
因为 ORDER BY 是全局排序，对计算性能的开销较大，而且集中在单个Reduce上排序并不能起到分布式处理的效果，所以可以通过 DISTRIBUTE BY+SORT BY 和 CLUSTER BY 两种方式来进行数据重排。注意事项 进行数据重排会占用和消耗计算资源，如果...
什么是 SOFATracer
SOFATracer 是蚂蚁金服基于 OpenTracing 规范开发的分布式链路跟踪系统，其核心理念就是通过一个全局的 TraceId 将分布在各个服务节点上的同一次请求串联起来。通过统一的 TraceId 将调用链路中的各种网络调用情况以日志的方式记录下来，...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
架构
在产品层除了提供业界标准的云原生能力外，还提供具备金融级特性的发布运维能力，比如按序的无损发布策略，针对大规模分布式系统的批量发布运维能力，内置按机房或部署单元的高可用容灾拓扑，并集成 SOFAStack 的实时监控能力。您可通过...
分布式链路概述
帮助运维人员、开发人员和架构师轻松应对复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障定责等运维开发工作...
技术架构
架构演进理念 当前，分布式领域有3大技术方向：Sharding技术，NewSQL原生分布式技术，云原生DB技术。每种分布式都有其独特的优势和特点。PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于...
引擎简介
Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容HBase、Phoenix（SQL）、Cassandra等开源标准接口，支持单表百万亿行规模、千万级并发、毫秒级响应、跨...
源为PolarDB-X的功能规范和约束说明
由于 PolarDB分布式版 自身不提供Binlog以及其他的一些限制，在业务设计、运维变更、数据质量以及业务开发时，会受到如下规范的约束，请您在实际使用中注意。概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的...
源为PolarDB-X的功能规范和约束说明
由于 PolarDB分布式版 自身不提供Binlog以及其他的一些限制，在业务设计、运维变更、数据质量以及业务开发时，会受到如下规范的约束，请您在实际使用中注意。概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的...
技术架构
架构演进理念 当前，分布式领域有3大技术方向：Sharding技术，NewSQL原生分布式技术，云原生DB技术。每种分布式都有其独特的优势和特点。PolarDB-X 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布...
支持的云服务
开放搜索OpenSearch 开放搜索OpenSearch是一款阿里云自主研发的大规模分布式搜索引擎平台。您通过MaxCompute对数据进行计算处理后，可以在OpenSearch平台上通过添加数据源的方式将MaxCompute数据接入，详情请参见 MaxCompute数据源配置。更...
通用
客户介绍 怪兽充电作为一家公共智能硬件公司，目前拥有众多创新的智能共享充电产品，致力于在各场景中通过源源不断的能源和智能硬件网络，结合物联网大数据，以无时无刻的服务满足用户与商户的需求。项目背景 作为共享充电宝提供方，怪兽...
什么是MaxCompute
MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决方案及分析建模服务。MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和...
本地运行
本地运行和分布式环境运行差异 在本地运行的过程中，仍然会启动多个Map及Reduce进程处理数据，但这些进程不是并发运行，而是依次串行运行。此外，这个本地模拟运行过程与真正的分布式运行有如下差别：输入表行数限制：目前最多只支持下载...
什么是Databricks数据洞察
Databricks数据洞察（简称DDI）是基于Apache Spark的全托管大数据分析平台。产品内核引擎使用Databricks Runtime，并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务，您无需关心集群服务，只需专注在Spark作业的开发上...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
互联网服务：小打卡
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍小打卡如何通过 PolarDB-X 应对业务挑战。所属...
企业版产品系列
基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。计算与存储分离 采用计算与存储分离的架构，满足公共云计算环境下根据业务发展弹性扩展集群的刚性需求。...
快速入门
Web 3.0时代，阿里巴巴、Facebook、Google等大型互联网公司都采用更为灵活的MySQL构建了成熟的大规模数据库集群。阿里云数据库RDS MySQL基于阿里巴巴的MySQL源码分支，经过双11高并发、大数据量的考验，拥有优良的性能和吞吐量。此外，阿里...
产品优势
海量存储，支持上百TB级别数据 采用分布式块存储设计和文件系统，使得存储容量不限制于单节点的规格，能够轻松扩展，应对上百TB级别的数据规模。高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）...
功能架构
分布式链路 分布式链路帮助运维人员、开发人员和架构师看清楚复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、...
技术原理
分布式事务 PolarDB-X原生支持分布式事务，并保证事务的ACID性质——原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。PolarDB-X通过引入中心授时节点（TSO），结合多版本并发控制（MVCC），保证...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
产品相关问题
解决大规模分布式任务统一调度的问题，助力企业能够更加迅速地满足业务需求。典型的应用场景包括金融行业结息处理、日切处理、余额缓冲记账、政务数据批处理等。任务调度支持哪些任务类型？任务调度支持的基本任务类型包括：简单任务、集群...
版本说明
0.6（2020-01-10）发布 SOFAStack 消息队列，是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成。支持多种消息类型：普通消息、定时消息、分区顺序消息、事务消息。详见 消息类型。提供专业、可靠、...
产品优势
海量存储，支持上百TB级别数据 采用分布式块存储设计和文件系统，使得存储容量不限制于单节点的规格，能够轻松扩展，应对上百TB级别的数据规模。高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）...
产品优势
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
- 产品推荐
- 这些文档可能帮助您