风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
ListDoctorHiveTables-批量获取Hive表分析结果
极冷数据指的是 90 日以内都没有访问的数据。totalDataSize:总数据量大小。hotDataRatio:热数据的数据量大小占比。热数据指的是 7 日内有访问的数据。warmDataRatio:温数据的数据量大小占比。温数据指的是 7 日内没有访问的数据，但是 30 ...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
数据倾斜诊断
消除数据倾斜 导致数据倾斜的原因一般都是分布键选择不正确。例如，一张表的某个字段的相同值特别多时，如果选择了该字段作为分布键进行HASH分布，就会导致该字段的这些相同值所在的计算节点上的数据比其他计算节点上的数据多。为了避免...
管理数据集
注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据集。创建数据集 方式一：通过控制台顶部菜单栏操作创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与...
时空分析
空间/时空数据（Spatial/Spatio-temporal Data，以下统称时空数据）是带有时间/空间位置信息的图形图像数据，用来表示事物的位置、形态、变化及大小分布等多维信息。早期业内按矢量/栅格二元分类方法来划分时空数据，并在3S等传统行业默默...
RDS术语
数据库 在一个RDS实例下创建的逻辑单元，以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。一个实例可以创建多个数据库，数据库在实例内的命名唯一。数据库...
高效数据治理实施指南
基本流程 作为数据治理计划的负责人，在阶段工作规划和日常治理时，都离不开数据分析方法和治理工具的落地。围绕治理目标，从制定到达成的整个过程，其步骤思路可参照下图：以下为您介绍典型的存储成本优化和稳定性优化的实操案例，了解...
点热力层（v1.x版本）
点热力层是基础平面地图的子组件，支持独立的样式和数据配置，包括热力点的大小、颜色、模糊程度以及经纬度等，能够使用热力点的形式表现地理位置上的点数据信息。本文介绍点热力层各配置项的含义。注意 当前为v1.x版本的点热力层子组件...
概述
数据传输旨在帮助您低风险、低成本、高效率地实现同构或异构数据库向 OceanBase 数据库进行实时数据迁移和数据同步。数据迁移：数据迁移属于一次性任务，迁移完成后即可释放项目资源。您可以通过数据迁移功能，实现同构或异构数据源之间的...
点热力层（v2.x版本）
点热力层是基础平面地图的子组件，支持独立的样式和数据配置，包括热力点的大小、颜色、模糊程度以及经纬度等，能够使用热力点的形式表现地理位置上的点数据信息。本文介绍点热力层各配置项的含义。重要 当前为v2.x版本的点热力层子组件...
什么是数据库自治服务DAS
缺少数据支撑，问题排查靠猜 数据库的问题排查和性能优化一直都是数据库领域的专业问题，但是即使最专业的DBA在面对一些问题的时候，也往往耗费了很长时间，但是仍然无法定位到根因，主要的难点有三个：获取信息难，问题诊断和性能优化都...
添加TableStore数据源
本文档介绍在DataV中添加TableStore数据源的方法，以及相关参数配置说明。前提条件 已准备好待添加的TableStore数据源。添加TableStore数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 ...
添加TableStore数据源
本文档介绍在DataV中添加TableStore数据源的方法，以及相关参数配置说明。前提条件 已准备好待添加的TableStore数据源。添加TableStore数据源操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表...
冷数据归档常见问题
归档后的冷数据的数据量相比原表是变大还是变小？归档后的冷数据的数据格式发生变化，会导致占用的空间容量发生变化。具体变化如下：如果原表位于InnoDB引擎，归档后的数据的数据量可能会变小。如果原表位于X-Engine引擎，归档后的数据的...
备份大小
与数据大小的关系 备份大小可能比数据量大，也可能比数据量小。云盘实例采用快照备份。快照备份的大小可能远大于数据的大小。云盘实例备份免费额度为实例存储容量的200%，本地盘实例备份免费额度为实例存储容量的50%。说明 计算快照备份...
基本概念
栅格数据（Raster Data）是将地理空间分割成有规律的网格，每一个网格称为一个单元（像元或像素），并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题数据：每个栅格像...
索引优化
在当您想要建索引时应该需要考虑以下几点：您的查询负载：索引可以有效地提高返回单条或者小数据结果集的查询，比如TP类的查询。压缩表或者适合使用稀疏索引的范围查询：索引可以提高压缩的AO/AOCS表的查询效率，尤其是在进行范围查询时...
概述
借助日志备份可以实现任意时间点的一致性备份：通过一个完整的数据全量备份（快照）以及后续一段时间的日志备份，就可以将 PolarDB 集群恢复到任意时间点（Point-In-Time Recovery，简称PITR），保证最近一段时间的数据安全性，避免误操作...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
概述
借助日志备份可以实现任意时间点的一致性备份：通过一个完整的数据全量备份（快照）以及后续一段时间的日志备份，就可以将 PolarDB 集群恢复到任意时间点（Point-In-Time Recovery，简称PITR），保证最近一段时间的数据安全性，避免误操作...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。...所以，必须要尽可能的减少数据落地带来的风险。通过用户角色的详细划分，限制部分业务组拥有数据导出的权限，并且也不会影响日常开发工作。
数据风险点监控
为确保数据完整性，每天任务通常都是0点开始执行，计算前一天的数据。这些任务大多在深夜运行，要确保数据按时产出，需要考虑任务的执行优先级以及任务执行失败或时间过长时的报警问题。任务优先级 MaxCompute平台上任务优先级都一样，无法...
专业术语
相反，当您向序列中写入一个新的数据点，并且该数据点的时间戳跟序列中某个数据点的时间戳相同，那么在该时间戳下的数据点的field set会变为旧field set和新field set的并集，以后访问这个数据点时，返回的都是修改后新的field set。...
查询结果不符合预期的常见原因
如果删除请求设置的时间戳/版本号较大，删除请求提交后将持续生效，此时再写入数据，则数据写入的时间戳比删除请求设置的时间戳小，数据写入后会被立刻删除，导致无法被查询到。说明 SQL访问方式不支持设置删除时间戳。链路等问题导致数据...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
多值数据写入
时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型。比如某个机器的cpu，mem和load指标。每次是...
写入数据
sync&sync_timeout=60000 ignoreErrors 无类型 否 是否忽略部分数据点的写入异常。false/api/put/?ignoreErrors 注意：所有“无类型”的参数，只要提供，都被视为 true，比如 summary=false 以及 summary=true 都被当做 summary=true。如果...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据备份
本文介绍 云原生数据仓库AnalyticDB PostgreSQL版 如何查看备份数据以及如何设置备份策略。查看和修改备份策略 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。找到目标实例，单击实例ID。在左侧...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
网格热力图（v1.x版本）
网格热力图是基础平面地图的子组件，支持独立的样式和数据配置，包括网格的大小、颜色、边宽以及经纬度等，能够以网格点的形式表现地理位置上的点的分布密度。本文介绍网格热力图各配置项的含义。注意 当前为v1.x版本的网格热力层子组件...
散点层
图表样式 散点层是3D地球的子组件，支持独立的样式和数据配置，包括散点的大小、颜色和类型以及经纬度等，能够以散点的形式表现地理位置上的点数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入...
恢复全量数据
开启任意时间点恢复（日志备份升级版）后，在 可任意时间点恢复天数 内，可对任意时间点的数据进行恢复。说明 如何查看当前日志备份保留天数策略，请参见 RDS MySQL日志备份。更多详情，请参见 任意时间点保护与日志备份的区别。恢复时长 ...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
- 产品推荐
- 这些文档可能帮助您