通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
功能特性
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
如何处理Tair集群数据倾斜
建议您及时对实例进行数据倾斜的原因排查，并根据对应处理方法在业务层进行改造，对实例进行优化，更多信息请参见 数据倾斜的原因与处理方法。倾斜场景 可能原因 临时方案 内存倾斜 大Key、Hash Tags。升级实例规格，具体操作请参见 变更...
如何处理Redis集群数据倾斜
建议您及时对实例进行数据倾斜的原因排查，并根据对应处理方法在业务层进行改造，对实例进行优化，更多信息请参见 数据倾斜的原因与处理方法。倾斜场景 可能原因 临时方案 内存倾斜 大Key、Hash Tags。升级实例规格，具体操作请参见 变更...
版本说明
V2.6.12 2021年4月9日 设计优化 添加数据写入的审计日志（由于会对写入性能有影响，只接受提交工单开启，且仅支持后台运维查询）V2.6.11 2021年4月2日 新特性 api/mquery 和 api/query/mlast 增加 roffset 与 rlimit 查询接口,其语义与原有...
制定数据治理计划
各类数据治理计划模板内提供的治理目标如下：治理计划模板 治理目标 存储资源优化 节约存储量 优化问题数 优化问题表数 总体健康分 存储健康分 计算资源优化 节约计算CU量 优化问题数 优化问题任务数 总体健康分 计算健康分 数据稳定性优化...
处理治理项问题
2 在该区域，您可以查看当前视角下所有数据源创建的任务总数、表的总数，以及对应的可优化问题数量。同时，可以快速了解每日治理项问题的数量及治理成效。3 在该区域，您可以基于 研发、质量、安全、计算、存储 等维度，查看不同维度的可...
技术架构
PolarDB PostgreSQL版（兼容Oracle）的计算节点，主要实现了SQL解析和优化、以及查询并行执行与无锁高性能事务处理，计算节点之间通过高吞吐的物理复制协议同步内存状态。数据库节点最多可以扩容到16个，其中1个读写节点，其他均为只读节点...
后续指引
介绍：数据迁移 实践：数据迁移最佳实践 常见问题：数据上传下载常见问题 大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各...
什么是数据库备份DBS
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
AliPG内核小版本发布记录
缺陷修复 修复使用 pg_profile 插件时，profile数据库连接server数据库失败的问题。20230430 兼容社区15.1版本。新特性 新增支持 ICU Collations。新增支持 pgvector 插件，版本为0.4.1。rds_ccl 插件升级到1.1。ganos 插件升级到5.5，更多...
时序引擎版本说明
优化创建连续查询（Continuous Query，简称CQ）时，interval 参数需要反引号的问题。3.4.8 2022年02月07日 功能优化 修复HASH策略的BUG问题。3.4.7 2022年01月26日 新特性 TSQL写入语句限制至少一个Field列。TSQL支持创建或者删除预降采样...
列存索引如何实现高效数据过滤
它能够减少为了处理查询而必须扫描的数据量，因为它只需要处理与查询范围相关的数据块。另外，minmax索引有助于减少存储索引所需的空间，因为它只需要存储每个块的最小值和最大值，而不是所有数据的索引。Bloom filter Bloom filter是一种...
什么是图数据库GDB?
图数据库（Graph Database，简称GDB）是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言，可以帮您快速构建基于高度连接的数据集的应用程序。图数据...
2023年
内存快照 链路追踪产品全面升级为 可观测链路 OpenTelemetry 版 优化 支持多语言通过OpenTelemetry接入，可以实现数据的统一收集、格式化和处理，提供更全面、一致和灵活的监控和分析能力，为客户提供更好的可观测性和数据驱动的决策能力。...
V5.4.x系列实例版本说明
修复时间类型与函数的兼容性问题，提升对时间类型数据的处理效率。修复监控中的连接数显示不正确的问题。修复ALTER TABLE语句中CONVERT TO CHARACTER SET不能同时修改GSI索引表的问题。修复部分PARSER报错信息不明确的问题。优化性能 优化...
AliSQL内核小版本发布记录
不建议升级到此版本，如遇到备份失败问题，请参见 RDS MySQL 8.0.31(20230630)版本备份失败问题处理。新特性 合并官方 8.0.31 变更。支持取消正在运行的Buffer Pool Online Resize。Statement Concurrency Control功能新增模板级别并发控制...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
应用场景
数据库自治服务DAS支持统一管理、批量管理、智能诊断、安全审计等功能，帮助您实现多种典型应用场景。双11使用场景 每年一度的双11购物狂欢节，数据库自治服务DAS以持续的...最佳实践 处理慢SQL问题 处理CPU使用率高问题 处理存储空间不足问题
EMR Hive功能增强
本文为您介绍E-...添加支持多个count distinct字段的数据倾斜处理优化。解决join不同bucketversion的表时丢数据的问题。EMR-3.23.0之前版本 Hive 2.x 外部统一数据库保存至Hive Meta，所有使用外部Hive Meta的集群共享同一份Meta信息。
DataWorks模块使用说明
使用流程概览：参考文档：安全中心概述 子模块：数据治理中心 功能说明：数据治理中心针对多个治理领域，通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式帮助用户主动式、体系化完成数据治理工作。...
版本发布记录
Schema向导功能 用户Schema向导功能，以及建表向导的研发与优化，极大的提升了数据湖构建和数据探索发现的效率。界面化库表操作 支持界面化的删除表，删除库功能操作。补齐分区写入功能 补齐了 INSERT OVERWRITE SELECT 的ETL、目标分区...
数据导入性能优化
优化 通道控制 数据同步性能与 任务期望最大并发数 配置项大小成正比，建议尽可能增加 任务期望最大并发数。重要 任务期望最大并发数越高，占用DataWorks资源会越多，请合理选择。建议打开 分布式处理能力，以取得更好的同步性能。常见问题...
数据导入性能优化
优化 通道控制 数据同步性能与 任务期望最大并发数 配置项大小成正比，建议尽可能增加 任务期望最大并发数。重要 任务期望最大并发数越高，占用DataWorks资源会越多，请合理选择。建议打开 分布式处理能力，以取得更好的同步性能。常见问题...
SQL优化技术
诊断能力 DAS的SQL诊断优化服务是自动SQL优化强大后盾，它采用基于代价模型方式，也就是采用和数据库优化器相同的方式去思考优化问题，最终会以执行代价的方式量化评估所有的可能推荐候选项，最终作出可靠推荐。该服务已在阿里巴巴集团内部...
版本发布说明
优化冷数据归档任务的异常处理逻辑。缺陷修复 修复在读写分离场景下，只读DN异常导致主实例重启失败的问题。修复多列IN查询包含HEX表达式时解析错误的问题。修复lookup执行器在执行阶段访问mq获取column信息的并发问题。修复长事务遇到事务...
PolarDB MySQL版8.0.2版本发布日志
优化列存索引（IMCI）的启动流程，减少列索引的启动准备时间。提升了只读（RO）节点在二级索引回表主键场景下数据的读取性能。优化了列存索引（IMCI）中的事务掩码计算流程。2024-01-17 问题修复 修复对集群执行升级操作时，可能导致根据...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
Cost-based SQL诊断引擎
基于代价模型 与基于规则不同，DAS中的SQL诊断优化服务采用的是基于代价模型方式实现，即采用和数据库优化器相同的方式去思考优化问题，最终会以执行代价的方式量化评估所有的（或尽可能所有的，因为是最优解求解的NP类问题，因此在一些...
常用错误码ErrorCode
检查模型的实数型属性 API 是否正确使用-2013 对称矩阵的实数性属性无法识别 请检查输入的数据-3000 问题的解不可用 检查优化问题的解是否正确生成-3001 原始射线不可用 检查原始射线是否正确生成-3002 求解器的统计信息不可用 请 联系我们...
数据库优化
数据库选型 阿里云拥有丰富的云数据库产品选项，涵盖关系型数据库、非关系型数据库、数据仓库、数据库生态工具四大板块，可以为企业数据生产和集成、实时处理、分析与发现、开发与管理提供全链路生命周期的服务。主要关系型数据库包括 云...
2023年
数据膨胀、倾斜与索引统计 SQL优化器 AnalyticDB PostgreSQL版 将join_collapse_limit参数默认值调整至10，从而优化多表JOIN时内存占用过高且执行时间过长的问题。无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
数据组织优化
本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量...
功能更新动态（2022年之前）
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
基础散点图
当基础散点图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
- 产品推荐
- 这些文档可能帮助您