背景信息以及准备工作
与使用传统数据库加DataV构建大屏相比，在绝大部分频率较低的数据刷新业务大屏场景下，DataV+DLA+OSS的方式远比DataV+传统数据库的成本低。实施方案 实际应用中DataV+DLA+OSS的搭配使用有以下两种方案。DLA+OSS+DataV 业务应用程序产出的...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
使用MaxCompute控制台（离线）
阿里云对象存储OSS：仅支持上传CSV格式的文件数据，数据量最大支持5 GB，且该数据所在的Bucket必须与当前MaxCompute项目位于同一地域。不支持将数据上传到具有自定义Schema的表中（包括已有表和新建表），自定义Schema相关信息请参见 ...
资源密集活动统计（pg_profile）
RDS PostgreSQL支持使用pg_profile插件来统计数据库中资源密集型活动，用于分析优化数据库。插件简介 此扩展基于PostgreSQL的统计视图（pg_stat_statements）和社区插件（pg_stat_kcache），完全使用PL/pgSQL编写，无需任何外部库或软件，...
Serverless模式导入和查询数据性能测试
测试方式 并发数为1 并发数为4 并发数为8 COPY 37 MB/s 125 MB/s 128 MB/s OSS FDW 47 MB/s 86 MB/s 110 MB/s 数据查询性能 数据查询性能测试将通过TPC-H的qgen工具，生成10 GB和500 GB的数据，测试Serverless模式的查询耗时并与存储弹性...
TPC-H性能测试说明
TPC-H简介 以下文字描述引用自 TPC Benchmark H(TPC-H)：“TPC-H是一个决策支持基准，由一套面向业务的临时查询和并发数据修改组成。选择的查询和填充数据库的数据具有广泛的行业相关性。该基准测试说明了决策支持系统可以检查大量数据，...
2020年
无 2020年5月 oss_fdw插件 新增oss_fdw插件，用于Aliyun OSS外部表支持，您可以通过OSS外部表将数据库数据写入到OSS，也可以通过OSS外部表将OSS数据加载到数据库中，OSS外部表支持并行和压缩，极大提高了导入和导出数据的性能，同时也可以...
预降采样
预降采样可以在数据写入时就按指定时间粒度对数据进行预计算并单独存储，降采样查询时可以自动查询匹配到的预降采样数据，以降低访问延迟。本文介绍预降采样的概念，创建和管理预降采样规则的方法，查询预降采样数据的方法，以及预降采样的...
应用场景
测试结果：进行了TPC-H和Hive查询等测试，与Presto（OR）相比，在同等条件下，性能提升了3~5倍以上，并且仅使用Presto资源的1/3即可获得相同的性能体验。实时数据流场景 DataFlow集群类型提供了Flink、Kafka、Paimon等服务，主要用于解决...
性能调优
AnalyticDB MySQL 数仓版（3.0）集群才默认开启的，所以当集群内核版本从3.1.6以下版本升级到3.1.6及以上版本时，会触发一次全量数据的统计信息收集，导致集群内核版本完成升级后的一段时间内统计信息收集的工作量较大，CPU负载较高，完成...
列存索引TPC-H测试
测试结果 以下结果的时间单位为：秒（s）查询 8c32g*2 8c32g*4 16c64g*2 16c64g*3 16c64g*4 16c64g*6 Q1 14.16 6.84 6.66 2.41 1.57 1.12 Q2 2.73 2.76 1.73 1.22 0.91 0.72 Q3 5.58 2.59 4.01 1.43 1.20 0.82 Q4 6.59 1.68 1.88 1.09 0.80...
Tair小版本发布日志
存储介质 特性 内存（DRAM）型 超高性能：采用多线程模型，读写性能达到同规格云数据库Redis社区版（简称 Redis社区版）实例的3倍，更多信息请参见 内存型（兼容Redis 5.0）性能白皮书 与 内存型（兼容Redis 6.0）性能白皮书。提供丰富的自...
图扑案例
业务要求与挑战 5G、云计算、边缘计算等智能、互联技术的快速发展，推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增，与之对应的采集数据量和数据类型快速增长，导致数据存储、检索难度更大。现有解决方案中，通常依赖自建单...
公开数据集概述
H数据 项目名称 BIGDATA_PUBLIC_DATASET Schema名称 tpch_10g、tpch_100g、tpch_1t、tpch_10t 可用地域 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、西南1（成都）、中国香港、...
通过任务编排实现跨库数据同步
在数据仓库中将数据加工后，还需要把加工结果同步回在线库中，以便于在线应用提供相关的数据分析和统计服务。操作步骤 准备工作。新增跨库Spark任务。配置跨库Spark任务。发布跨库Spark任务。准备工作 在MySQL数据库中创建订单表、商品表和...
内置时空数据引擎Ganos
相比传统需要跨库信息提取再汇总，在性能及程序开发效率上都有大幅度的提高，为用户应对5G、卫星遥感、行业时空大数据、智慧城市建设等提供云化和多结构、多模式的信息服务支撑。PolarDB PostgreSQL版（兼容Oracle）Ganos当前版本提供了...
新功能发布记录
本文介绍 数据管理DMS 的产品功能动态及相关文档。功能发布更新 2024年 03月 功能名称 变更类型 功能描述 相关文档 数据工作站 新增 支持以文档...结构设计 任务编排 优化 任务编排首页新增运行数据统计、任务流列表，新增任务流的类似创建。...
DataCheckConfigure参数说明
dest：以目标库为基准，校验源库与目标库数据的一致性（不校验源库比目标库多的数据）。fullCheckMaxReadRps Integer 每秒读取数据的最大行数，取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。fullCheckMaxReadBps Integer ...
Github实时数据同步与分析
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
2020年
ST_Intersects 新增ST_Contains函数，用于判断栅格数据与栅格数据，栅格数据与几何数据是否是包含关系。ST_Contains 新增ST_Within函数，用于判断网格数据与网格数据，网格数据与几何数据是否是被包含关系。ST_Within 矢量数据类型快速显示...
统计信息
本文介绍 云数据库 SelectDB 版 中手动记录统计信息或者自动收集统计信息，为您进行查询性能优化提供参考。概述 云数据库 SelectDB 版 支持手动记录统计信息或者自动收集统计信息。收集统计信息有助于优化器了解数据分布特性。在进行基于...
2022年
2022年3月 修复栅格对部分数据统计时失败的问题。2022年3月 V1.1.20 内核小版本 类别 名称 描述 相关文档 发布时间 新增 支持表的闪回删除 新增闪回删除功能，可以快速恢复已经删除的表，以及查看和清理回收站。闪回删除 2022年1月 PX多级...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
H3网格聚合及网格包含查询
如果需要使用其他H3精度，且聚合语句不包含 H3_Contains 条件，需要使用/*+_l_force_index_('h3_idx')*/强制启用索引，查询语句如下：SELECT/*+_l_force_index_('h3_idx')*/h3_cellToParent(h3,8)AS h3CellId,count(*)AS carCount FROM ...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
平台安全诊断
DataWorks的平台安全诊断，为您提供了当前DataWorks工作空间与绑定的引擎在数据传输、存储、运算等过程中，与身份认证、访问权限控制、开发模式等功能相关的安全能力，以及诊断相关安全问题的最佳实践，帮助您及时发现平台的安全隐患，在...
统计信息
本文介绍 AnalyticDB MySQL 统计信息的作用与分类，自动收集统计信息的机制，手动收集统计信息的方法，以及如何查看统计信息。功能介绍 查询优化器（Query Optimizer）将查询转换为执行计划，并交给执行引擎执行。执行计划的质量会影响查询...
Doris概述
Apache Doris是一个高性能、实时的分析型数据库，能够较好的满足报表分析、即席查询、数据湖联邦查询加速等使用场景。本文为您介绍Apache Doris。背景信息 关于更多Apache Doris信息，详情请参见 Doris介绍。使用场景 数据源经过各种数据...
跨境SaaS:深圳市易仓科技有限公司
存在资源碎片，资源利用率低 痛点5:业务快速发展，租户数据越来越大，存储成本越来越高 痛点6:传统主从架构数据库模式，实例众多，数据集成成本高 痛点7:租户数据量越来越大，单租户维度查询性能遇瓶颈 解决方案 PolarDB多主集群助力易仓跨...
ROLLUP的并行加速
使用TPCH进行测试，以Q1为例，在原始的语句上加入 ROLLUP 语法：说明 本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准测试的所有要求。select l_returnflag,l_linestatus,...
实时同步任务延迟解决方案
在任务运行详情中，查看 窗口等待时间（5 min），该指标表示最近5分钟窗口内，同步任务读取数据或写入数据的等待时间。用于帮助您判断数据同步延迟的瓶颈方，当数据同步发生延迟时，指标数据较大的一般为瓶颈方。确认造成延迟问题的系统...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
版本发布说明
发布日期：2023-07-13 大版本：V5.4.17 小版本：16890724 类别 说明 优化 优化索引的缺省命名逻辑，与MySQL保持一致。缺陷修复 修复部分场景下填充默认值阶段报错的问题。修复定时任务无法正常收集统计信息的问题。修复只读实例维护白名单...
产品优势
Tair与自建Redis对比 对比项 云原生内存数据库Tair版 自建Redis 安全防护 事前防护：VPC网络隔离 白名单控制访问 自定义账号与权限 事中保护：TLS加密 数据加密TDE 事后审计：审计日志 事前防护：自建网络安全体系：成本高，难度大。...
风险识别管理（新版）
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞。单击 立即体验，进入数据保护伞。进入 风险识别管理。在 数据...
通过导入实现删除
为了减轻频繁DELETE操作对于 云数据库 SelectDB 版 实例查询性能的影响，云数据库 SelectDB 版 提供了通过导入方式进行删除数据的解决方法，帮助您优化数据查询性能。概述 使用 DELETE 命令删除时，每执行一次 DELETE 都会生成一个新的数据...
2023年
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。（邀测）MaxCompute Notebook使用说明 2023-09-12 新增在本地环境上使用PyODPS 新说明 PyODPS是...
通过 HyperLoglog 实现高性能多维数据透视
t2.brand,t1.groupid,grouping sets((t3.tag1),(t3.tag2),(t3.tag3),(.),(t3.tagn))合并统计维度数据 数据结果按天进行统计，但如果要查询按月，或者按年的统计，则需要对按天统计的数据查询并汇聚。业务也能选择异步汇聚，最终用户查询到...
SQL洞察
注意事项 SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS 企业版 设置的存储时长小于等于90天，则SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长以DAS 企业版 设置的存储时长为准...
- 产品推荐
- 这些文档可能帮助您