主备方案介绍

主备容灾:当云数据库HBase实例因不可预料的原因(例如设备故障、机房断电断网等)发生故障,容灾机制可用于保障数据的一致性和业务可用性。功能优势 主备双活:请求低毛刺。故障自动容错。资源利用率高。主备容灾:支持云数据库HBase、EMR...

开启热备前后性能对比

failover(故障容灾,如主节点宕机)普通只读节点(未开启热备和事务保持):连接中断错60秒左右。热备只读节点(开启热备和事务保持):TPS跌零5秒左右。视频展示 热备RO与普通RO主动运维的表现对比 本视频展示了在主动运维场景下,普通...

发现并处理大Key和热Key

热Key的请求压力数量超出 Tair 的承受能力易造成缓存击穿,即大量请求将被直接指向后端的存储层,导致存储访问量激增甚至宕机,从而影响其他业务。大Key和热Key产生的原因 未正确使用 Tair 命令、业务规划不足、无效数据的堆积、访问量突增...

用户价值

数据应用更智能:提供面向业务人员的无代码业务模型构建能力和数据分析能力,大大降低数据获取和分析门槛,让业务人员可以直接使用数据,积累沉淀业务模型,能够向上层应用提供更加智能的数据。数据资产更清晰:从宏观到微观助力数据管理方...

数仓规划概述

业务分类 当企业业务比较复杂,不同类型业务彼此间需要共享数据域,但是又希望能在模型设计和应用过程中快速定位本业务的数据时,您可结合真实业务情况,规划不同的业务分类,在后续建模的维度表和明细表中,将其关联到对应的业务分类中。...

应用场景

数据标准:管理数据标准和构建数据模型,将数据标准贯彻到数据质量分析、保障及检查的全过程中,将散乱的多源异构数据加工成标准、干净的数据资产,确保数据的完整性、一致性、准确性和可用性。数据建模:通过数据建模模块提供的各种数据...

数据

产生原因 补数据并行控制是,补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行,当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自...

逻辑结构说明

同一种业务形态(业务板块)内,根据实际业务情况,将业务实体(维度和业务过程)划分到不同的数据域。基于维度和业务过程创建明细逻辑表(包括维度逻辑表和事实逻辑表),及定义指标(包括原子指标、业务限定、统计周期、统计粒度、统计...

概述

业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库,随着业务数据的增长,业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...

规范定义最佳实践

基于Dataphin建模理论和业务需求,明确并规范定义统计指标,以便设计出易于业务使用的数据仓库。背景信息 规范定义是指以维度建模作为理论基础,构建总线矩阵,划分并定义主题域、业务过程、维度、原子指标、统计周期和派生指标。在您开始...

数据

数据域是联系较为紧密的数据主题的集合,通常是根据业务类别、数据来源、数据用途等多个维度,对企业的业务数据进行的区域划分,将同类型数据存放在一起,便于您快速查找需要的内容。不同使用目的数据,分类标准不同。例如,电商行业通常...

AUTO模式核心特性及典型场景

热点分裂——有效解决数据热点 对于热点数据,PolarDB-X 支持两种处理方式:第一种方案是将热点数据所在的分区数据迁移到特定的数据节点,让热点数据以独享存储资源的方式服务业务,能够实现热点数据不影响非热点数据的业务。具体操作步骤...

核心概念

当数据的业务含义存在较大差异时,您可以创建不同的数据板块,独立管理不同的业务,后续数据仓库的建设将按照数据板块进行划分。在Dataphin中,项目可以归属至数据板块以实现规范建模功能,同一个数据板块中可能包含多个不同的项目,所以...

查看并管理定时调度补数据任务

定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例,进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口,进入 运维 中心。按照下图操作指引...

库表结构优化

要做好库表结构设计和优化,用户通常需要关注以下信息:数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点,才能结合业务的数据分布特征与业务场景特征,进行数据建模,从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...

数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前,您需要了解...

创建元数据

后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源,基于这三种数据源创建服务单元时无法直接...

创建元数据

后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源,基于这三种数据源创建服务单元时无法直接...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

分析业务过程

在明确用户的业务过程之后,您可以根据需要分析决策的业务数据域,并在相应的数据域下创建具体的业务过程。基于Dataphin完成业务过程的构建,详情请参见 新建业务过程。icmsDocProps={'productMethod':'created','language':'zh-CN',};

查看并管理已生成实例

重跑后,直接更新当前实例节点的数据。因当前实例运行失败而未开始运行的下游节点,在当前实例重跑成功后,会自动开始运行。您可按照下图操作指引选择相应的操作。重跑所有失败实例:运行状态为 失败 的节点。重跑所有终态实例:运行状态为...

维度建模概述

DataWorks的数据建模产品遵循Kimball维度建模理论,使用DataWorks的维度建模功能进行数据仓库模型设计时,您可根据业务情况设计并创建维度表、明细表、汇总表、应用表,并可将模型快速发布到相应的研发引擎。同时,还可以使用逆向建模,将...

创建概念模型:维度

应用层基于实际应用需求,获取公共层加工整合后的数据,面向具体业务建立业务层面的维度,进行持续的个性化数据建设及改造。您可根据需求选择创建公共层或应用层维度,不同数仓分层创建维度的准备工作如下表。数仓分层 准备事项 参考链接 ...

确定需求

需求分析 在未考虑数据分析师、业务运营人员的数据需求的情况下,单纯根据业务调研建设的数据仓库,可能可用性较差。完成业务调研后,您需要进一步收集数据使用者的需求,进而对需求进行深度思考和分析,并改进数据仓库。需求分析的途径有...

创建逻辑模型:应用表

应用表是面向具体业务场景时,用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据,为后续的业务查询,OLAP分析,数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...

查看并管理已提交实例

重跑后,直接更新当前实例节点的数据。因当前实例运行失败而未开始运行的下游节点,在当前实例重跑成功后,会自动开始运行。您可按照下图操作指引选择相应的操作。重跑所有失败实例:运行状态为 失败 的节点。重跑所有终态实例:运行状态为...

查看并管理已提交实例

重跑后,直接更新当前实例节点的数据。因当前实例运行失败而未开始运行的下游节点,在当前实例重跑成功后,会自动开始运行。您可按照下图操作指引选择相应的操作。重跑所有失败实例:运行状态为 失败 的节点。重跑所有终态实例:运行状态为...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

需求分析

步骤一:了解已有业务数据 实际操作前,请先了解该项目背景下企业已有的业务数据及其数据格式,以及业务背景分析需要的目标用户画像基本结构。OSS原始日志数据分析(user_log.txt)以下为OSS中存储的 user_log.txt 文件原始数据。remote_...

需求分析

步骤一:了解已有业务数据 实际操作前,请先了解该项目背景下企业已有的业务数据及其数据格式,以及业务背景分析需要的目标用户画像基本结构。OSS原始日志数据分析(user_log.txt)以下为OSS中存储的 user_log.txt 文件原始数据。remote_...

创建SAP HANA数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

分析业务过程

为理清数据之间的逻辑关系和流向,首先需要理解用户的业务过程,了解过程中涉及到的数据系统。您可以采用过程分析法,将整个业务过程涉及的每个环节一一列清楚,包括技术、数据、系统环境等。在分析企业的工作职责范围(部门)后,您也可以...

创建Hologres数据

在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中,您需要先创建Hologres数据源。本文为您介绍如何新建Hologres数据源。背景信息 Hologres即阿里云交互式分析Hologres,是阿里巴巴自主研发的一款交互式分析...

创建逻辑模型:维度表

应用层基于实际应用需求,获取公共层加工整合后的数据,面向具体业务建立业务层面的维度表,进行持续的个性化数据建设及改造。您可根据需求选择创建公共层或应用层维度表,不同数仓分层创建维度表的准备工作如下表。数仓分层 准备事项 参考...

创建ClickHouse数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

分析业务过程

为理清数据之间的逻辑关系和流向,首先需要理解用户的业务过程,了解过程中涉及到的数据系统。您可以采用过程分析法,将整个业务过程涉及的每个环节一一列清楚,包括技术、数据、系统环境等。在分析企业的工作职责范围(部门)后,您也可以...

开通Dataphin

数据服务(选购)数据服务可以通过标准化、配置化方式,帮助您统一数据主题单元,并进一步支持面向主题的自助API配置、调试、预发、上线及调用监控管理,做到数据使用权限字段粒度控制,有效降低业务的数据消费门槛,同时为您保障数据开放...

创建OpenGauss数据

通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...

创建OpenGauss数据

通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用