兼容性概述
BI分析工具连接MaxCompute，能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源，为您带来更高效的数据分析体验。为了帮助您更清晰地使用BI工具连接访问MaxCompute，本文为您介绍MaxCompute支持连接的BI分析工具，以及工具与...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
客户案例
价值体现 通过统一计算引擎、统一管理及运维、打通AI及BI，提升数据利用率、做到降本增效。同时，构建自助数据分析平台，快速满足各类人员不同数据分析需求。数据体系整体上云，使用少量组件即可实现流批一体、湖仓一体，完成从数据驱动到...
Kyuubi概述
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
如何基于LSM-tree架构实现一写多读
共享存储下的物理复制 图 3.Primary-Replica物理复制架构 LSM-tree引擎一写多读的能力是对PolarDB进行功能增强，体现在架构层面就是充分利用已有的复制链路，包括Primary->Replica传递日志信息链路和Replica->Primary传递协同控制信息链路...
东软案例
在运维过程中，用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力，来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...
功能特性
此外，OceanBase 数据库支持超大规模集群（节点超过 1500 台，最大单集群数据量超过 3 PB，单表数量达到万亿行级别）动态扩展，在 TPC-C 场景中，系统扩展比可以达到 1:0.9，使用户投资的硬件成本被最大化的利用。高可用 OceanBase 数据库...
列存索引技术架构介绍
基于多副本的Divergent Design方法 随着互联网而兴起的新兴数据库产品很多都兼容了MySQL协议，这些分布式数据库产品大部分采用了分布式Share Nothing方案，其一个核心特点是使用分布式一致性协议来保障单个partition多副本之间的数据一致性...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
PolarDB HTAP实时数据分析技术解密
即表达式系统有两项关键优化：充分利用列式存储的优势，使用分批处理模型代替迭代器模型，使用SIMD指令重写大部分常用数据类型的表达式。例如，所有数字类型（int、decimal、double）的基本数学运算（+-*/abs），全部使用对应的SIMD指令。...
技术原理
扩容迁移 随着业务的增长，数据量越来越大，往往需要添加更多的数据节点以承载更多的数据。当新的数据节点加入实例时，PolarDB-X将自动触发扩容任务，将数据进行再平衡（Rebalance）。以下图为例，orders表原本分布在4个数据节点上。用户...
DQL操作常见问题
本文为您介绍在MaxCompute中执行DQL操作过程中的常见问题。问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决...
跨境SaaS:深圳市易仓科技有限公司
在数据库架构演进过程中，也遇到诸多痛点：痛点1:单实例海量表，运维管理困难，数据库稳定性挑战大 痛点2:多租户共享一个数据库实例，数据量大，资源抢占 痛点3:租户版本升降、合并、打散时，租户数据迁移效率低 痛点4:传统主从数据库架构...
离线同步并发和限流之间的关系
数据源连接数Quota限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据源连接数（Quota）限制，以及如何合理配置连接数限制？问题二：为什么数据同步解决方案中的离线全量任务跑的慢，长时间任务处于Submit状态？数据源连接数...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
保险行业解决方案与案例
与此同时国寿数据应用全面进入实时化，通过DTS将 PolarDB PostgreSQL版（兼容Oracle）实时变化的数据同步到KAFKA平台，下游业务系统和大数据平台通过数据订阅以满足监管报送等各种场景；通过上线前完整兼容性评估，上线过程中全量SQL回归压...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
性能调优
AnalyticDB MySQL 数仓版（3.0）集群才默认开启的，所以当集群内核版本从3.1.6以下版本升级到3.1.6及以上版本时，会触发一次全量数据的统计信息收集，导致集群内核版本完成升级后的一段时间内统计信息收集的工作量较大，CPU负载较高，完成...
新建存储过程
概述 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存...
在EMR集群运行TPC-DS Benchmark
具体命令如下：SF=3 重要 请确保数据盘总大小是数据集规模的3倍以上，否则后续流程中会出现报错情况。检查并清理Hive数据库。检查Hive数据库是否存在。hive-e"desc database tpcds_bin_partitioned_orc_$SF"（可选）清理已经存在的Hive数据...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
begin for nsp,rel in select nspname,relname from pg_class t2,pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S' loop execute format($_$select last_value from%I.%I$_$,nsp,rel)into val;raise notice '%',format($_...
列存索引如何实现高效数据过滤
优点是数据预先按分区键分布，通常均具有较好的过滤效果，如果用户大部分查询条件均包含分区键，并且还有按分区管理数据生命周期的需求，分区表pruning是个不错的选择，可根据需要建立一级或二级分区。minmax：一般需要该列数据分布有较好...
Hash Clustering
又或者将Query改为：SELECT t1.c,t3.d FROM t1 JOIN t3 ON t1.id=t3.id;这个时候对表t1和t3来Join，但实际上对于t1而言，整个Shuffle和Sort过程还是完全一样。于是，考虑如果初始表数据生成时，按照Hash Shuffle和Sort的方式存储，那么后续...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
动态过滤器（Dynamic Filter）
当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute会读取完整个分区的数据后再过滤数据，读取分区数据的过程可以进一步优化。即在读取数据前，将无用的分区裁剪掉，即动态分区裁剪...
动态过滤器（Dynamic Filter）
当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute会读取完整个分区的数据后再过滤数据，读取分区数据的过程可以进一步优化。即在读取数据前，将无用的分区裁剪掉，即动态分区裁剪...
验证数据压缩能力
概念介绍 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并...
MongoDB 6.0新特性概览
变更流（Change Streams）变更流是MongoDB 3.6版本发布的用于支持CDC（Change Data Capture）的核心功能之一。变更流可以让业务更容易地实时获取数据库的变更，并基于此构建各种事件驱动型的应用或系统，不再需要依赖其他的数据同步中间件...
无感数据集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
Range Clustering
Range Clustering作为一种新的数据切分方式，提供了一个全局有序的数据分布，一是可以避免Hash Clustering可能造成的数据倾斜问题；二是在数据有序分布的前提下，创建两级索引（Index），支持对Clustering Key的区域查询以及多键的组合查询...
产品概述
产品介绍 DataV是一款数据可视化应用搭建产品，让数据可视、价值可见。DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、...
DescribeRules-查询识别规则的列表
调用本接口查询敏感数据识别规则的列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
引擎类型
面向海量半结构化、结构化数据设计的分布式宽表引擎，具备全局二级索引、多维检索、动态列、TTL等能力，支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase的3-7倍，P99时延为开源HBase的1/10，支持冷热分离，压缩率比开源HBase...
使用批量更新
3.批量更新 source_table数据准备好后，执行如下 update set…from…where.语句，即可实现批量的Update。注意：为了最大限度的使用到索引，在执行Update前，要使用 set optimizer=on 启用ORCA优化器（如果不启用ORCA优化器，则需要执行 set...
2021年
2021-09-01 华东1（杭州）华东2（上海）华北2（北京）华南1（深圳）华北3（张家口）新加坡 无 MaxCompute 支持通过湖仓一体方式读取OSS上的Hudi或 Delta Lake格式存储 Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
多可用区部署
最小需要存储日志和数据的可用区数目 存储日志：3个 存储数据：2个 存储日志：2个 存储数据：2个 存储日志：2个 存储数据：2个 存储日志：3个 存储数据：3个 说明 无论是强一致还是弱一致，在Lindorm多可用区部署下，Lindorm实例宽表的故障...
新功能发布记录
OceanBase 数据库 MySQL 租户 支持 MySQL 数据库至 OceanBase 数据库 MySQL 租户 4.0.0 版本的全量校验和反向增量 支持 OceanBase 数据库 MySQL 租户 2.x、3.x 版本至 OceanBase 数据库 MySQL 租户 4.1.0 版本的结构迁移、全量迁移、增量...
- 产品推荐
- 这些文档可能帮助您