概述
分布式数据库具备较高的性能，能够处理复杂的业务场景，满足客户对高吞吐、大存储、低延时、易扩展和超高可用数据库服务的需求。但是，分布式数据库的价格较高，技术门槛和运维成本都较高，对大部分中小企业来说其适用范围比较窄。当然中小...
技术架构
PolarDB PostgreSQL版（兼容Oracle）的计算节点，主要实现了SQL解析和优化、以及查询并行执行与无锁高性能事务处理，计算节点之间通过高吞吐的物理复制协议同步内存状态。数据库节点最多可以扩容到16个，其中1个读写节点，其他均为只读节点...
性能调优
AnalyticDB MySQL版 做为分布式系统，其优势在于利用多机并行的能力，提升海量数据的处理速度，适合大数据量的分析。在某些场景中，查询计算量不是特别大，AnalyticDB MySQL具备分布式开销，反而查询较慢。也有某些场景下，AnalyticDB ...
OSS/OSS-HDFS的性能优化最佳实践
本文为您介绍如何提高访问OSS或OSS-HDFS数据时HTTP请求的响应速度，以便优化OSS或OSS-HDFS上的数据处理。背景信息 越来越多的用户构建数据湖，并借助OSS来存储数据。OSS可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。...
2021年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2021年12...
配置并管理实时同步任务
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。创建实时同步任务 创建整库实时同步节点。配置...
控制台发布记录
2024-3-7 开启冷数据归档 数据与缓存一站式 PolarDB MySQL版 支持数据与缓存一站式功能，在保证数据强一致性的同时，面向在线业务场景构建一套完整的数据库+缓存的解决方案。2024-3-12 灰度发布中 PolarDB MySQL推出数据与缓存一站式功能 ...
Doris概述
使用场景 数据源经过各种数据集成和加工处理后，通常会入库到实时数仓Doris和离线湖仓（Hive、Iceberg和Hudi中），如下图所示。Apache Doris被广泛应用在以下场景中。报表分析 实时看板（Dashboards）。面向企业内部分析师和管理者的报表。...
跨实例查询
云原生数据仓库 AnalyticDB PostgreSQL 版 通过外部数据包装器FDW（foreign-data wrapper）帮助您轻松快速实现对同一账号中的不同实例进行联合查询，在保证数据实时性的同时，有效减少数据冗余。功能介绍 目前，很多公司或组织同时运行了多...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
此外，支持并行顺序扫描chunk，提高大范围数据扫描的IO吞吐，使其接近块设备的IO吞吐极限。索引增强 PolarDB PostgreSQL版（兼容Oracle）2.0版本 在处理B树索引（标准数据库索引）中的重复数据方面进行了有效优化，从而降低了B树索引的总体...
应用场景
Transformer、Bert模型等 并行文件存储系统CPFS 大模型 Megatron-LM、DeepSpeed等混合并行的LLM大模型场景的Pretrain和Finetune 并行文件存储系统CPFS AGSpeed进行AI训练的典型业务场景如下所示：场景 适用模型 图像分类 ResNet、MobileNet...
概述
本教程将以集群实例为例，带您体验云数据库 OceanBase 的低存储成本和实时分析能力。更多特性，详情参见 ...7 验证分析型查询请求能力 在 order 表单中生成 20000*20000 行数据，并与开启 8 个并行执行的时间进行对比，验证数据库 AP 能力。
使用Spark处理JindoFS上的数据
Spark中读写JindoFS上的数据，与处理其他文件系统的数据类似，以RDD操作为例，直接使用jfs的路径即可：val a=sc.textFile("jfs:/emr-jfs/README.md")写入数据：scala>a.collect().saveAsTextFile("jfs:/emr-jfs/output")SparkSQL 创建数据...
概述
import mars.tensor as mt a=mt.random.rand(10000,50)b=mt.random.rand(50,5000)a.dot(b).execute()Mars DataFrame接口 和Pandas保持一致，且支持大规模数据处理和分析。示例代码如下。import mars.dataframe as md ratings=md.read_csv('...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
Ganos核心特性与最佳实践汇总
三维空间分析与处理 区别于传统前端渲染方案，采用后端基于真三维结构做高精度空间分析与处理，加持并行计算加速大幅提升性能，支持计算结果3D对象输出。Ganos 三维引擎系列（二）：可视域与阴影率分析 Ganos 三维引擎系列（四）：路网与...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
目标端表对象存在记录时处理策略 选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端...
Ganos核心特性与最佳实践汇总
三维空间分析与处理 区别于传统前端渲染方案，采用后端基于真三维结构做高精度空间分析与处理，加持并行计算加速大幅提升性能，支持计算结果3D对象输出。Ganos 三维引擎系列（二）：可视域与阴影率分析 Ganos 三维引擎系列（四）：路网与...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
此外，支持并行顺序扫描chunk，提高大范围数据扫描的IO吞吐，使其接近块设备的IO吞吐极限。索引增强 PolarDB PostgreSQL版（兼容Oracle）2.0版本 在处理B树索引（标准数据库索引）中的重复数据方面进行了有效优化，从而降低了B树索引的总体...
Hive数据导入
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
术语
硬件压缩盘（Smart-SSD）硬件压缩盘使用阿里巴巴自研的Aliflash Smart-SSD技术，在物理SSD磁盘层面压缩、解压缩存储的数据，保持性能影响可控的情况下，使单位容量数据的存储价格更低。硬件压缩盘的压缩引擎集成在盘片内部，通过FPGA/ASIC...
如何基于LSM-tree架构实现一写多读
最基础的DDL操作，例如Create或Drop操作，在一写多读架构下，要考虑数据与数据字典，数据与字典缓存一致性等问题。一写多读的基础是物理复制，物理复制日志只在引擎层流动，不涉及到Server层，因此需要新增日志来解决DDL操作导致的不一致...
2021年
本文介绍 PolarDB PostgreSQL版 的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号：show polar_version;PolarDB PostgreSQL版 对应的原生...
PolarDB MySQL版8.0.2版本发布日志
修复在B-tree较高或B-tree数据倾斜的大表上执行并行查询操作时，可能存在的并行分片数目过少，或并发worker数据不均衡的问题。8.0.2.2.22 类别 说明 发布时间 新增功能和性能优化 支持为用户授予执行 SHOW_ROUTINE、FLUSH_USER_RESOURCES、...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
导入与导出
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
MaxFrame概述
MaxFrame可直接使用MaxCompute海量弹性计算资源，并支持自动分布式、并行处理，大幅缩短数据处理的时间。更便捷的开发体验 MaxFrame已与MaxCompute Notebook、DataWorks集成，无需配置环境即可直接使用；同时MaxFrame也支持在用户本地环境...
2020年
Mars能利用并行和分布式技术，加速Python数据科学栈，包括Numpy、Pandas和Scikit-learn。2020-08-31 全部区域 概述 准备工作 使用说明 查询加速MCQA（MaxCompute Query Acceleration）功能公测发布 MaxCompute的MCQA功能可以对中、小型查询...
产品整体介绍
另外在SQL基础上，支持Apache MADLib机器学习，PostGIS地理位置分析，以及JSON/JSONB半结构化数据，图片音频等非结构化数据与结构化数据融合分析功能。在部署形态层面，AnalyticDB PostgreSQL版 提供阿里云公共云服务，按量付费，支持垂直...
PolarDB MySQL版8.0.1版本发布日志
修复使用事务断点续传功能时，因启用并行查询功能而无法查询到续传事务数据的问题。修复执行库表恢复的新流程时，只读（RO）节点注册位点过低导致新增RO节点失败的问题。修复执行库表恢复的新流程时，因磁盘满载导致线程无法退出的问题。...
产品架构
本文为您介绍EMR Serverless StarRocks的架构。EMR Serverless ...对于未缓存的冷数据，StarRocks还针对性地进行了优化，结合应用的访问模式，通过预读技术和并行扫描等策略，降低了对远端对象存储访问的频率，进一步提升了查询效率。
常见问题
如果实时同步延迟较大（延迟大于5秒），请根据您的业务场景选择合适的优化方式：数据基本没有更新，同时数据是整行写入的（一行数据不会分批次写入）：请联系Lindorm技术支持（钉钉号：s0s3eg3）修改配置。每次写入过程中，不做并发检查，...
CREATE INDEX
B-树索引还接受这些参数：deduplicate_items(boolean)控制 B 树重复数据删除技术的使用，设置为 ON 或 OFF 以启用或禁用优化。默认值为 ON.说明 通过 ALTER INDEX 关闭 deduplicate_items 可以防止将来的插入触发重复数据删除，但本身不会...
基于OSS外表的单表多文件查询
一般情况下，OSS外表存储的数据是冷数据，数据量比较大，当单个CSV格式的数据文件过大时，对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
引擎简介
典型场景 大数据场景：海量数据存储与分析 广告场景：海量广告营销数据的实时存储 金融&零售：海量订单记录与风控数据的实时存储 车联网：车辆轨迹与状况数据的高效存储处理 互联网社交：高效、稳定的社交Feed流信息存储 访问方式 通过...
数据处理
不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，返回结果可为任意类型。表格中仅提供 其他配置 中的参数说明，其他参数配置请参见 公共参数说明。输出结果：每个处理方法对相应上游节点的...
使用\COPY命令导入本地数据
注意事项 由于\COPY命令需要通过Master节点进行串行数据写入处理，因此无法实现并行写入大批量数据。如果要进行大量数据的并行写入，请使用基于OSS的数据导入方式。通过OSS导入数据，请参见 使用OSS外表高速导入OSS数据。\COPY与COPY命令的...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
- 产品推荐
- 这些文档可能帮助您