使用多机MPP对海量数据分析提速
随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量数据场景下的性能需求。因此，IMCI提供了多机并行执行能力和资源弹升能力。技术架构 列存索引多机并行执行技术架构如下：列存索引多机...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中...
从ECS上的自建SQL Server同步至云原生数据仓库...
而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中...
从ECS上的自建SQL Server同步至云原生数据仓库...
而在云原生数据仓库AnalyticDB PostgreSQL中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
而在OLAP场景（如该目标库）中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
而在OLAP场景（如该目标库）中单个数据表可存储海量数据，使用单表查询更加便捷。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择...
方案实现
本文主要介绍如何使用表格存储搭建海量智能元数据管理系统。前提条件 已完成 准备工作。步骤一：创建数据表 通过以下两种方式创建一张店铺信息表：通过控制台创建和管理数据表。具体操作，请参见 创建数据表。通过SDK直接创建和管理数据表...
导出数据
分析型数据库MySQL版对海量数据分析计算后支持输出（DUMP）数据结果，目前支持两种DUMP方式：导出数据到OSS 导出数据到MaxCompute
典型场景
云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行处理，这些操作任务也可以被DataWorks调度。同时它还支持高性能的在线分析能力，可以通过Quick BI、DataV、Tableau、帆软等即时查询数据，并将数据以报表形式展现。大数据分析平台 ...
引擎简介
核心能力 低成本 通过高密度低成本介质、智能冷热分离、高压缩比算法、自适应编码等技术，达到海量数据存储处理成本比自建低80%。云原生弹性 通过存计分离架构和Serverless技术，支持计算和存储资源的按需即时弹性。企业级稳定性 基于高...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
查询执行模式
背景 云原生数据仓库AnalyticDB MySQL版（简称ADB MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，可以对海量数据进行即时的多维分析透视和业务探索。AnalyticDB MySQL 的执行引擎是MPP DAG的融合执行引擎，能够...
典型应用
海量数据实时多维查询 在数亿至数百亿记录规模大宽表，数百以上维度自由查询，响应时间通常在100毫秒以内。让业务人员能持续探索式查询分析，无需中断分析思路，便于深挖业务价值，具有非常好的查询体验。用户画像分析 随着数据时代的发展...
车联网数据存储处理方案
方案总览 Lindorm是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、搜索、文件等多种数据模型，兼容HBase、Cassandra、Phoenix、OpenTSDB、Solr、SQL等多种开源标准接口，...
2024年
什么是DTS Serverless实例 新增 新增支持将 PolarDB MySQL版 集群的数据同步或迁移到SelectDB，以满足您的海量数据分析需求。PolarDB MySQL版同步至云数据库SelectDB版 PolarDB MySQL版迁移至云数据库SelectDB版 新增 新增支持SQL Server ...
引擎简介
产品优势 流引擎专注产品的云原生、高性能和易用性，致力于降低海量实时数据处理的使用门槛和成本，侧重于业务的实现而非复杂的基础设施维护。同时，流引擎也能够对现有的系统进行降本增效。实时性：支持秒级别的实时数据处理。易用性 支持...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
羲和分析计算引擎
面向海量数据的云原生数仓需要满足不同的数据分析场景，包括在线报表，在线交互式分析，以及ETL等。不同的场景依赖分析计算引擎自适应的采用不同的查询优化技术，包括按需的动态代码编译，CPU友好的内存数据布局，以及自适应的并行度调整等...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
使用说明
对于海量数据的复杂查询，可以使用多机MPP进行查询加速。具体操作请参见 使用多机MPP对海量数据分析提速。其他 如果您对列存索引背后的原理感兴趣，您可以参考以下文档来进一步了解列存索引：PolarDB IMCI发表在 SIGMOD2023上的论文 列存...
应用场景
对于这种多维度查询场景，尤其是非分区键查询在海量数据的分布式场景中是经常碰到的问题。通常可以采用在非分区列建立影子表的方式来解决。但这样的解决方式并非利用了数据库本身的能力，只能算是应用层的折中方案。OceanBase 数据库可以...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
图扑案例
对于需要实时采集海量数据的生产线、风电厂和智能交通态势感知数据的场景，为了实现实时数据采集、存储、索引和聚合，原存储方案中采用了ElasticSearch、Prometheus、Hbase分别存储从现场传感器、第三方系统和用户终端设备采集的时序指标、...
执行补数据并查看补数据实例（旧版）
海量节点模式补数据 用于对当前节点及下游节点进行批量补数据操作，通常在当前节点的下游节点数量较多时使用该功能，支持按照项目筛选下游节点。同时，支持设置节点白名单和黑名单，选中或过滤目标节点。高级模式补数据 用于灵活选择一批...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
新增消费组
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
简介
背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速提供业务导向的数据服务，旨在提高数据使用效率和便捷性。据Gartner分析，该技术可降低企业50%的数据管理人力成本和70%的工作负荷，加速数据价值的转化。随着AI技术的发展，Data ...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL ...支持 不支持 相关文档 使用OSS Foreign Table进行数据湖分析 使用OSS Foreign Table导出数据 使用OSS Foreign Table分区表 OSS Foreign Table使用技巧 OSS Foreign Table数据类型对照表
产品概述
数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。同时，Dataphin可以为您提升构建数据体系的效率，降低成本：提升效率：提供全链路、一站式、智能化的数据建设与治理工具，...
功能简介
依托企业数据智能平台，您可以设计高质量的标准化数据模型，减少重复开发工作，全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用并探索数据，更高效地从数据中获取业务价值。目前企业数据智能平台提供以下功能：...
导出数据
数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。说明 建议导出的数据超过200条时使用数据水印嵌入。未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到...
2023年
云数据库MongoDB版同步至云原生多模数据库Lindorm 新增 新增支持将MySQL的数据同步或迁移到SelectDB，以满足您的海量数据分析需求。RDS MySQL同步至云数据库SelectDB版 RDS MySQL迁移至云数据库SelectDB版 优化 MySQL的数据同步或迁移至...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
SQL 条件过滤数据
SQL 条件过滤数据使用的列请勿执行 DDL 变更，否则可能导致数据迁移或数据同步异常。操作步骤 将数据迁移或数据同步项目配置至 选择迁移对象 或 选择同步对象 步骤。详情请参见相应类型的 数据迁移 或 数据同步 项目文档。选择迁移对象后，...
离线同步数据质量排查
以下介绍最常见的关系型数据库的写出模式（不同数据源类型写出模式不同）：insert into 将数据使用insert into的SQL语句写出至目标端，如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），则来源数据会作为...
- 产品推荐
- 这些文档可能帮助您