概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
概述
PolarDB 集群 备份集逻辑大小（上图中②所示）：指备份快照的逻辑数据大小，数据备份的收费对象为实际独立占用的物理空间大小，非逻辑数据大小。其实际独立占用的物理空间大小初始为0，但会随着数据的写入而增加，每个数据备份（快照）独立...
通过自治服务解决MySQL实例CPU使用率过高的问题
使数据库产生大量的逻辑读，从而导致CPU使用率过高。使数据库产生大量的物理读，从而导致IOPS和I/O延时过高。说明 关于逻辑读和物理读的相关介绍，请参见 更多信息。解决方案 说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作...
存储类型
假设数据库文件的逻辑大小为100 GiB，则实际消耗云存储的存储空间的大小为100 GiB。由LindormDFS确保数据的可靠性以及可用性，无需关心副本数。本地SSD磁盘、本地HDD磁盘和额外挂载云盘均采用物理容量的口径进行用量计量。进行容量规划时需...
RDS MySQL/MariaDB版实例CPU使用率较高
问题原因 应用提交查询操作或数据修改操作时，系统需要执行大量的逻辑读操作，其中逻辑IO包含执行查询所需访问表的数据行数。所以系统需要消耗大量的CPU资源以维护从存储系统读取到内存中的数据一致性。本文以CPU使用率为100%的场景为例，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
新建补数据任务
下游任务选择 说明 若起点任务是逻辑表，下游任务展示范围取决于选中需要补数据的逻辑表字段。列表模式：适用于所有层级的下游任务，总共最多2000个。且任务依赖可快捷选择1~10层以及全部层级。过滤暂停任务及其下游：默认勾选，选中后，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
周期任务补数据
补数据范围 下游任务选择 支持通过 列表模式 和 海量模式 选择需要补数据的下游任务：说明 若起点任务是逻辑表，下游任务展示范围取决于选中需要补数据的逻辑表字段。列表模式：适用于所有层级的下游任务，总共最多2000个。且任务依赖可...
UTL_RAW
示例 该示例展示了如何计算两个RAW类型数据的逻辑“与”结果。SELECT utl_raw.bit_and('1234567890aabbccddeeff','1234567890')FROM dual;bit_and-\x31323334353637383930616162626363646465656666(1 row)BIT_COMPLEMENT Function 该函数 ...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
拆分函数概述
MMDD 按月日哈希 否 是 YYYYMM 按年月哈希 是 是 YYYYWEEK 按年周哈希 是 是 YYYYDD 按年日哈希 是 是 拆分函数对全局二级索引的支持情况 PolarDB-X 1.0 支持 全局二级索引，从数据存储的角度看，每个GSI对应一张用于保存索引数据的逻辑表...
新建补数据任务
下游任务选择 说明 若起点任务是逻辑表，下游任务展示范围取决于选中需要补数据的逻辑表字段。列表模式：适用于所有层级的下游任务，总共最多2000个。且任务依赖可快捷选择1~10层以及全部层级。过滤暂停任务及其下游：默认勾选，选中后，...
周期任务补数据
补数据范围 下游任务选择 支持通过 列表模式 和 海量模式 选择需要补数据的下游任务：说明 若起点任务是逻辑表，下游任务展示范围取决于选中需要补数据的逻辑表字段。列表模式：适用于所有层级的下游任务，总共最多2000个。且任务依赖可...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
配置订阅任务（旧控制台）
通过数据订阅功能可以实时订阅增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。首次使用数据订阅功能时，请阅读 数据订阅操作指导，帮助您快速掌握创建、监控、管理数据订阅任务及消费数据的操作...
逻辑数仓
应用场景 不同用户角色使用逻辑数仓支持的应用场景：数据库及数仓开发人员：跨库查询与开发，业务数据逻辑归档、数据准备与供应、轻量数仓、数仓构建模拟、敏捷建仓、入仓等。运营分析及BI人员：数据准备与分析、跨库查询、查询与分析加速...
创建RDS MySQL数据订阅通道
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项 由于使用gh-ost或pt-online-schema-change等类似...
功能特性
数据分析概述 访问数据分析功能 管理数据集 仪表盘 Copilot Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理...
手动备份MongoDB数据
如果需要备份的数据量较大，逻辑备份和物理备份花费的时间可能较长，请您耐心等待。费用说明 云数据库MongoDB提供了免费备份额度。如果备份存储容量（包括全量备份和日志备份）未超过免费额度，备份不收费。超过后，每小时的备份费用=...
MaxCompute表数据
存储量：统计的为表的逻辑存储大小，此数据为离线统计，有T+1的延迟。产出任务：写入当前表的DataWorks周期调度任务ID。若表被周期更新，但没有展示任务ID，可能是非DataWorks周期调度任务写入，详可咨询表负责人。此数据为离线统计，有T+1...
数据总览
存储趋势图 为当前租户本地域下，MaxCompute项目的逻辑存储总和趋势图，此数据包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，有T+1的延迟。项目占用存储Top 为您展示当前租户本地域下，MaxCompute项目的逻辑存储...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
配置逻辑表基本信息
在 属性 对话框中，基本信息 区域查看或配置的逻辑表基本信息。参数 描述 表类型 逻辑表的表类型名称。业务对象 逻辑表的业务对象名称。数据板块 逻辑表所绑定的数据板块名称。主题域 逻辑表所绑定的主题域名称。数据时效 逻辑表的数据时效...
配置逻辑表基本信息
在 属性 对话框中，基本信息 区域查看或配置的逻辑表基本信息。参数 描述 表类型 逻辑表的表类型名称。业务对象 逻辑表的业务对象名称。数据板块 逻辑表所绑定的数据板块名称。主题域 逻辑表所绑定的主题域名称。数据时效 逻辑表的数据时效...
数据治理中心概述
数据治理逻辑 数据治理问题检测包括数据开发任务提交发布前的检查项检测，及提交发布后的治理项检测，帮助您全方位管控当前数据存在的待治理问题。当触发检测项后，若校验不通过，则会生成相应事件（严重问题将阻塞开发流程），您需通过...
查询非结构化数据
说明 您可以根据需要选择Extractor、StorageHandler或Outputer类型：Extractor：自定义输入数据解析器，用来实现自定义处理数据读取的逻辑，即如何读取非结构化数据。StorageHandler：用于指定和配置自定义Extractor和Outputer的实现类。...
默认工作空间内置逻辑说明
本文为您介绍DataWorks默认工作空间的内置逻辑。背景信息 请注意，当您首次使用DataWorks，或开通新地域的DataWorks服务时，我们将默认进行以下操作：自动生成默认工作空间 为您免除前期准备工作，快速进入开发状态。在新购资源组的时候会...
排队长度
单位：米 计算逻辑 根据数据情况（卡口电警数据、高德数据、线圈数据）的不同，提供不同的计算逻辑。基于电警卡口数据计算 如果交叉口进口道rid路段的上下游都具有电警卡口过车数据，则采用基于电警卡口数据的计算逻辑。计算逻辑图如下所示...
新建虚拟维度逻辑表
虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象，例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：新建...
新建虚拟维度逻辑表
虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象，例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：新建...
代码评审报告
是 指标间逻辑检查 同表字段间逻辑检查 同表不同字段间在业务上存在的逻辑是否在数据上成立。例如贷款为结清状态，则结清日期一定非空；状态为逾期，则逾期金额一定大于0。是 跨表/跨系统逻辑检查 跨表/跨系统间在业务上存在的逻辑是否在...
字段加工
然后再配置加工的逻辑，比如从身份证号中提取性别等。对应加工逻辑，支持“当……时……否则……”这种逻辑方式进行配置，比如加工成绩评价字段，“当‘语文成绩>90’时‘优秀’否则‘良好’”。如果需要加工多个字段，点击新增字段或者...
通过Excel导入逻辑表
说明 如果本地存在从其他工作组中导出的逻辑表文件时，则不需要下载模版，直接导入已导出的文件，可实现工作组间的数据模型迁移。导入准备好的文件。单击 点击此处，选择本地文件上传或者可以将本地文档直接拖拽至导入区域。说明 选择文件...
配置LogicalTable输入组件
逻辑表 基于已选择的逻辑表类型，选择对应的逻辑表。逻辑表下拉列表中仅展示当前账号具有 同步读 权限的逻辑表。您也可以通过以下方式，将其他逻辑表添加至逻辑表下拉列表中：如果您需要选择当前没有权限的逻辑表，则申请对应逻辑表的权限...
通过Excel导入逻辑表
说明 如果本地存在从其他工作组中导出的逻辑表文件时，则不需要下载模板，直接导入已导出的文件，可实现工作组间的数据模型迁移。导入准备好的文件。单击 点击此处，选择本地文件上传或者可以将本地文档直接拖拽至导入区域。说明 选择文件...
- 产品推荐
- 这些文档可能帮助您