需求阶段
数仓的最基本职责是定义和发现在企业决策中使用的信息，随着企业战略方向的改变与业务方对行业判断的变化，需求会不断变化。该特性决定了数据仓库需求的多样性和迭代性。作为承接业务方数据需求的数据产品经理，在需求阶段需要规范首次需求...
常见问题
Redis CSRF漏洞分析及云数据库Redis版安全措施介绍 云数据库Redis集群版与原生Redis集群版有什么区别？网络与连接 如何获取Redis实例的连接地址和实例ID 如何通过redis-cli连接Redis 云数据库Redis版支持Jedis等通用的Redis客户端吗？连接...
BI分析模式数据面板功能介绍
数据条件系列映射样式配置 字段数据的条件逻辑配置完后，您可以为该字段数据改变包括尺寸、颜色和形状等，各个数据映射通道的样式配置，每个组件在数据条件系列面板内的映射样式配置都不同，您也可以通过组件默认样式配置面板中的方法或...
缓存分析
数据库自治服务DAS支持缓存分析功能，通过分析Redis的备份文件，可以快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
发现并处理Redis的大Key和热Key
TairHash是一种可为field设置过期时间和版本的Hash数据类型，它不但和Redis Hash一样支持丰富的数据接口和高处理性能，还改变了Hash只能为Key设置过期时间的限制，可以为field设置过期时间和版本。这极大地提高了HASH数据类型的灵活性，...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
发现并处理大Key和热Key
在使用 云原生内存数据库Tair 的过程中，如果未能及时发现并处理Big keys（下文称为“大Key”）与Hotkeys（下文称为“热Key”），可能会导致服务性能下降、用户体验变差，甚至引发大面积故障。本文将介绍大Key与热Key产生的原因、其可能...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
计费常见问题
通过DataWorks执行补数据操作后，为什么费用会产生较大波动？通过DataWorks将调度任务的调度周期从天改为小时后，为什么费用会增加？运行全表扫描后，为什么费用会增加？下载费用 通过ECS云主机使用内网从MaxCompute下载数据，收取流量费用...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
词云
BI分析数据配置面板中的详细操作说明，请参见 BI分析模式数据面板功能介绍。配置字段说明 字段 说明 名称 词云组件的名称文本内容。值 词云组件的权重值，可以影响在布局中的字体大小。颜色映射 颜色映射字段，用于设置每个词语的各种颜色...
性能优化与诊断简介
锁分析 查看和分析数据库最近一次发生的死锁。容量评估 查看容量评估建议、性能容量情况、存储容量的使用情况、剩余可用时间。该功能还能通过机器学习和容量算法，预测未来存储空间的使用情况供您参考。空间分析 查看数据库实例的空间使用...
慢日志
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为 ...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
慢日志分析
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为：...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
文档修订记录
规则管理 2023.08.07 新增功能 数据分析 数据分析提供卡片和报告功能，您无需下载数据，即可快速完成数据可视化分析与报告创作，轻松打造个性化可视化作品，讲述数据故事、表达数据观点。增强分析（卡片和报告）2023.08.04 新增功能 数据...
数据湖管理FAQ
“Lakehouse”是基于数据湖的数仓，一种新的大数据范式，最根本出发点就是为了解决单纯Data Lake应用下的各种问题，例如不支持UPSERT，不支持多版本，不支持增量ETL，小文件太多，格式不是分析型的，元信息不统一，Schema没有约束，缺乏...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
StarRocks概述
StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接StarRocks来分析数据。StarRocks采用分布式架构：对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩，支持10 PB级别的数据分析。支持MPP框架，并行加速计算。支持多...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
功能优势
分析型数据库MySQL版向量分析功能在通用性、性能优化和产品化上与普通向量检索系统相比有以下优势。高维向量数据的高准度和高性能 以典型的人脸512维向量为例，分析型数据库MySQL版向量分析提供百亿向量100 QPS、50毫秒响应时间（RT）约束...
3D环图
BI分析数据配置面板中的详细操作说明，请参见 BI分析模式数据面板功能介绍。配置字段说明 字段 说明 类 各环形块的类目。值 各环形块的值，决定各3D环图块占整个3D环图的百分比。说明 您可以单击切换数据面板左上角的 默认模式，即可在弹窗...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
产品系列
适用场景包含构建海量数据实时写入和复杂ETL计算的实时数据仓库、大数据量的复杂查询、历史数据分析、日志分析等业务场景。数仓版（3.0）弹性模式包括两种形态：单机版和集群版。单机版 单机版即单节点部署，不具备分布式能力。单机版支持...
实例状态与影响
切换中 HASwitching 手动执行主备切换 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。...
SQL洞察
注意事项 SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS 企业版 设置的存储时长小于等于90天，则SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长以DAS 企业版 设置的存储时长为准...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 开启或关闭实例释放保护 本操作不影响实例的运行。设置可维护时间段 请将维护时间段设置在业务低峰期，以避免维护过程可能...
实时物化视图
基于此特性可以方便地构建分析数据的实时ETL处理链路。目前 AnalyticDB PostgreSQL版 的实时物化视图仅支持STATEMENT（语句）级别的自动更新，即当基表的更新语句（INSERT、COPY、UPDATE、DELETE）执行成功时，构建于基表之上的物化视图...
热力图（v5.0.x版本）
热力图使用颜色来代表数据分布，绘制的过程根据数据点在画布上的影响范围进行颜色的设置。本文介绍热力图各配置项的含义。配置 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
- 产品推荐
- 这些文档可能帮助您