数据类型版本说明
odps.sql.hive.compatible：MaxCompute Hive兼容模式（即部分数据类型和SQL行为兼容Hive）数据类型版本的开关，属性值为True或False。在新增项目时MaxCompute可以对3个版本的数据类型进行选择，各个版本默认设置如下：1.0数据类型版本 ...
集群架构
直连模式的服务架构和说明如下。说明 直连模式与代理模式的连接方式区别较大，相关注意事项和连接示例请参见 使用直连地址访问Tair实例。图 2.集群架构直连模式服务架构 使用场景 数据量较大 相比 Tair 标准架构，集群架构可以有效地扩展...
产品系列概述
MySQL 8.0 MySQL 5.7 高可用版 一主一备的高可用架构和七个只读节点，购买时默认为高可用架构（仅包括主节点和备节点，没有只读节点）。详细信息，请参见 高可用版。大中型企业的生产数据库。互联网、物联网、零售电商、物流、游戏等行业的...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
什么是PolarDB MySQL标准版
PolarDB MySQL版 的标准版采用计算与存储分离的架构，数据库代理和计算节点分别采用独立的ECS进行部署，共享存储层使用ESSD云盘，极大的降低了用户使用 PolarDB 的成本。说明 上述产品架构为一写多读的多节点架构。如果您购买标准版时选择...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
轮播页面
数据面板（默认模式）说明 组件数据面板默认是 默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
未来规划
下一代的企业级数据库架构应该是将云原生架构和分布式架构以及HTAP完美结合起来。上层是分库分表Shared-Nothing的架构，下层是存储与计算分离的云原生架构，这种架构的好处在于既能够水平扩展，又能够实现高可用的能力。而且面对高并发的...
PolarDB Serverless实现了哪些突破
第一代云原生数据库的困境 早期的云上数据库，大部分是以ECS中的自建数据库和云厂商托管的数据库RDS的形态存在的，到目前为止还是有非常大的用户量。这些云上数据库架构使用的是传统数据库的架构，只是运行在云的基础设施上，数据库本身并...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
集群版-双副本
直连模式的服务架构和说明如下。说明 直连模式与代理模式的连接方式区别较大，相关注意事项和连接示例请参见 使用直连模式访问Redis集群。图 2.集群版直连模式服务架构 使用场景 数据量较大 相比Redis标准版，集群版可以有效地扩展存储量，...
迁移
同时，由于AUTO模式数据库与DRDS模式数据库存在一定架构差异，建议进行业务测试和性能测试后再切换。迁移期间对目标实例性能有一定影响，不建议迁移至已有线上服务的数据库实例。迁移前准备 在开始评估迁移前，请在源实例中：将源实例底层...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
网商银行
基于金融云计算平台，网商银行拥有处理高并发金融交易、海量大数据和弹性扩容的能力，可以利用互联网和大数据的优势，给更多小微企业提供金融服务。业务挑战 网商银行将普惠金融作为自身的使命，目标是利用互联网的技术、数据和渠道创新，...
JindoData概述
JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、JindoFSx存储加速系统（原JindoFS Cache模式），JindoSDK大数据万能SDK和全面兼容的生态工具（JindoFuse、JindoDistCp）以及插件支持。JindoData...
查询Key在哪个数据节点和Slot
CLUSTER KEYSLOT例如执行 CLUSTER KEYSLOT foo，预计返回：12182 若实例为集群架构代理模式，您可以执行 INFO KEY 命令查询Key位于集群规格下的哪个数据节点和Slot。INFO KEY例如执行 INFO KEY foo，预计返回：slot:12182 node_index:2 ...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数仓分层
该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为...
产品简介
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
金融大数据
架构优势：合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明：阿里云大数据数据仓库解决方案经历了阿里巴巴集团内部的实战验证，完全基于自主研发，且在不断优化、完善，以...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
读写分离架构
存储层依然采用了Shared-Nothing架构，兼具了预留模式的扩展性和并发性。数据的写入，直接由AnalyticDB接入层的前端节点，经过SQL解析、合法性校验、分区选择等流程后，把数据实时写入存储层。存储层采用完全对等的三副本架构，副本之间...
数据分析整体趋势
这些云原生数据仓库技术分别起源于数据库和大数据，提供标准SQL接口和ACID保证，底层存储通过Share Everything或Share Nothing实现资源池化和横向扩展能力。资源隔离，数据共享是目前业务应用对云原生数据仓库的普遍需求。综上所述，数据...
数仓分层
该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为...
持久内存型实例规格
标准架构与集群架构直连模式的分片规格 规格 InstanceClass（API 使用）规格信息 最大连接数 最大带宽（MB/s）QPS参考值 CPU核数 持久内存（GB）ESSD云盘（GB）4 GB tair.scm.standard.1m.4d 3 4 12 10,000 96 100,000 8 GB tair.scm....
持久内存型实例规格
标准架构与集群架构直连模式的分片规格 规格 InstanceClass（API 使用）规格信息 最大连接数 最大带宽（MB/s）QPS参考值 CPU核数 持久内存（GB）ESSD云盘（GB）4 GB tair.scm.standard.1m.4d 3 4 12 10,000 96 100,000 8 GB tair.scm....
内存型实例规格
标准架构与集群架构直连模式的分片规格 以下规格适用于标准架构与集群架构直连模式的 云原生 实例。表 1.标准架构与集群架构直连模式的分片规格 规格名称 规格代码（API使用）CPU核数 内存（GB）ESSD云盘（GB）带宽（MB/s）每秒新建连接数 ...
内存型实例规格
标准架构与集群架构直连模式的分片规格 以下规格适用于标准架构与集群架构直连模式的 云原生 实例。表 1.标准架构与集群架构直连模式的分片规格 规格名称 规格代码（API使用）CPU核数 内存（GB）ESSD云盘（GB）带宽（MB/s）每秒新建连接数 ...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
南京银行
银行基础产品在与 C 端、B 端以及同业等多种场景融合时，从系统架构和研发模式上都需要适应互联网场景的需求，实现快速接入、快速上线、快速迭代。解决方案 2017 年，南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 ...
产品概述
PolarDB分布式版 MySQL Share Nothing，分布式 公共云、专有云企业版、DBStack MySQL生态下的大规模数据、超高并发应用 PolarDB MySQL版和PolarDB PostgreSQL版 产品架构 PolarDB MySQL版 和PolarDB PostgreSQL版均为计算存储分离、共享...
基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
Transaction Table2.0概述
上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量...
X-Engine简介
说明 X-Engine的架构和优化技术已经被总结成论文《X-Engine:An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing》，在数据管理国际会议SIGMOD'19发表，这是中国内地公司首次在国际性学术会议上发表OLTP数据库...
- 产品推荐
- 这些文档可能帮助您