创建元数据

列字段配置 新建列字段 字段名称:配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。支持多层嵌套,使用点(.)分隔。字段类型:根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...

创建元数据

列字段配置 新建列字段 字段名称:配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。支持多层嵌套,使用点(.)分隔。字段类型:根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...

伯俊软件

所属行业:互联网、软件 网站地址:上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商,创立20余年,已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据中台、培训及专业的技术服务,客户覆盖零售、制造...

混合存储型(已停售)

业务中的数据访问完全随机。冷热数据的性能和延迟要求 热数据访问场景对性能要求很高。冷数据访问场景对延迟的敏感度不高。业务对性能的要求极高。业务对延迟的敏感度高。大Key的访问规律 业务中没有大Key。业务中有大Key,且大Key的访问率...

资产安全概述

应用场景 基于Dataphin实现数据安全保护的一些典型的场景:场景1:业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能,脱敏明文敏感数据,保证业务数据安全。例如,姓名张三脱敏后*三。场景2:开发环境数仓建设 敏感数据...

资产安全概述

应用场景 基于Dataphin实现数据安全保护的一些典型的场景:场景1:业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能,脱敏明文敏感数据,保证业务数据安全。例如,姓名张三脱敏后*三。场景2:开发环境数仓建设 敏感数据...

背景信息以及准备工作

LOG+OSS+DLA+DataV 将业务应用程序产出的业务日志采集到日志服务,通过定时日志投递(最小5分钟延迟)到OSS,再通过定时查询,刷新到业务数据大屏。上述方案有以下优势:日志服务(Log Service,简称LOG/原SLS)是针对实时数据一站式...

概述

维度建模 DataWorks的数据建模理念遵循维度建模思想,使用DataWorks的维度建模功能进行数据仓库建模设计时:维度表 结合业务的数据域的规划,提取出各业务数据进行数据分析时可能存在的维度,并将维度及其属性通过维度表的方式存储下来...

维度建模概述

维度表 结合业务的数据域的规划,提取出各业务数据进行数据分析时可能存在的维度,并将维度及其属性通过维度表的方式存储下来。例如,在进行电商业务数据分析时,可用的维度及其属性有:订单维度(属性包括订单ID、订单创建时间、买家...

创建单物理表服务单元

单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作,请参见 创建服务项目...

创建单物理表服务单元

单物理表服务单元用于对业务数据源的单个物理表进行元数据配置。后续您可以基于该单物理表服务单元开发访问该物理表数据的API。本文为您介绍如何创建单物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作,请参见 创建服务项目...

赛盒广告精细化管理方案

方案中采用 AnalyticDB MySQL 存放业务数据,AnalyticDB MySQL 的配置为集群版16个C8节点,可支撑上万TPS(Transactions-per-second),TB级数据复杂查询秒级响应,同时支持弹性扩展节点数和存储空间。客户价值 基于 AnalyticDB MySQL 和...

数据治理

敏感数据保护 对于业务中数据保护的需求,您可以将数据进行动态或静态脱敏,在当前实验中,会将表(retail_e_commerce_2.dim_ec_mbr_user_info)中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导,更多数据保护...

版本发布记录

计费项 数据字典 支持控制配置数据字典,当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表,通过数据字典来替代维度表,直接查询字典获得维度数据,增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...

数据模型架构规范

主要从数据业务特性和访问特性两个角度来考虑:将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型;将高概率同时访问的数据放一起,将低概率同时访问的数据分开存储。核心模型与扩展模型分离 建立核心模型与扩展模型体系...

定义维度与构建总线矩阵

以本教程A电商公司的营销业务板块为例,在交易数据,我们重点考察确认收货(交易成功)的业务过程。在确认收货的业务过程,主要有商品和收货地点(本教程,假设收货和购买是同一个地点)两个维度所依赖的业务角度。从商品维度...

定义维度与构建总线矩阵

以本教程A电商公司的营销业务板块为例,在交易数据,我们重点考察确认收货(交易成功)的业务过程。在确认收货的业务过程,主要有商品和收货地点(本教程,假设收货和购买是同一个地点)两个维度所依赖的业务角度。从商品维度...

公共维度汇总层(DIM)

本教程以A电商公司的营销业务板块为例,在交易数据,我们重点考察确认收货(交易成功)的业务过程。在确认收货的业务过程,主要有商品和收货地点(本教程,假设收货和购买是同一个地点)两个维度所依赖的业务角度。从商品角度可以...

公共维度汇总层(DIM)

本教程以A电商公司的营销业务板块为例,在交易数据,我们重点考察确认收货(交易成功)的业务过程。在确认收货的业务过程,主要有商品和收货地点(本教程,假设收货和购买是同一个地点)两个维度所依赖的业务角度。从商品角度可以...

受众与核心能力

本文为您介绍DataWorks的产品定位、产品受众和产品的核心能力。产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者,打造一个具备...让数据从采集到展现、从分析到驱动应用得以一站式解决,真正实现数据业务化、业务数据化。

典型使用场景

典型的数据源包括:MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库,业务App产生的日志数据,在OSS/Hadoop上的归档数据,以及来自Kafka/Flink等系统的流式数据。在库对ODS层数据进行加工,形成CDM(Common Data Model)和ADS...

应用场景

场景二:Redis作为存储数据库使用 游戏部署架构相对简单,主程序部署在ECS上,所有业务数据存储在Redis,作为持久化数据库。云数据库Redis版 支持持久化功能,主备双机冗余数据存储。Redis的服务可靠性至关重要,一旦Redis服务不可用,将...

如何对JSON类型进行高效分析

本文将以半结构化数据JSON为例,首先简述传统数据库与数据仓库的解决方案,然后详细描述 PolarDB IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点,最后给出 PolarDB IMCI列式JSON实时分析与扩展流计算解决方案方案 业务系统采用...

通过DTS实现数据库的垂直拆分

此步骤创建的反向迁移任务的作用是为业务提供回退方案业务恢复运行后,一旦出现异常可将业务切换至原有的数据。警告 在配置反向数据迁移任务时,在设置迁移类型及列表环节仅需选择增量数据迁移,然后选择需要迁移回源数据库的库或表...

网络游戏:心动网络股份有限公司

解决方案 心动网络采用 PolarDB 分布式云原生数据库方案构建了全部业务系统:PolarDB 支持处理海量大数据,同时具备高并发、高可用和很强的弹性伸缩能力。PolarDB 特有的高性能读能力,能在游戏服务层因变更、异常等导致服务端重启后,有效...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

概念建模概述

概念建模是Dataphin提供构建业务模型的工具,您可通过Dataphin的建模能力直接在Dataphin构建业务模型,快速将业务理解落地到中台,实现建模/数仓一体化。同时有利于数据消费者更好理解数据数据对应的业务。本文为您介绍Dataphin数仓规划...

概念建模概述

概念建模是Dataphin提供构建业务模型的工具,您可通过Dataphin的建模能力直接在Dataphin构建业务模型,快速将业务理解落地到中台,实现建模/数仓一体化。同时有利于数据消费者更好理解数据数据对应的业务。本文为您介绍Dataphin数仓规划...

应用场景

解决方案:在数据萃取与精准营销方案,市场营销业务人员可定义品牌的VIP客户为:交易价值超过一定阈值(例如10000元)且交易数量超过一定阈值(例如10次)等条件的客户。可随时对筛选条件进行调整,并实时返回结果,以保证VIP定义的目标...

查看业务链路(邀测

业务数据链路为视角进行视图监控,可查看当前业务链路所有业务节点的运行情况、告警信息。本文介绍了如何查看业务链路。前提条件 已启动业务监控连路,具体操作,请参见 启动业务监控链路(邀测)。操作步骤 登录 数据资源平台控制...

数据加工过程卡点校验

本文为您介绍在线或离线业务系统的数据在生成过程进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据数据仓库的重要数据来源。在线业务系统复杂多变,每次变更都会产生数据的变化。因此,数据仓库需要适应多变的业务发展,及时...

新建层级维度逻辑表

Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程各个节点,保障业务数据有效、适时地产出。详情说明,请参见:配置逻辑表上游依赖。参数配置:参数配置是对代码所用的变量进行赋值,从而支持节点调度时,参数变量可以...

数据中台建设架构咨询服务内容说明

2.服务范围 通过阿里云数据中台产品和建设实施方法论,建设【XXX】集团数据中台数据资产目录,基于资产盘点设计数据中台技术规范及总体架构,指导客户构建数据中台建设框架,并按需完成数据中台详细设计。数据中台建设咨询内容包括【业务...

新建层级维度逻辑表

Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程各个节点,保障业务数据有效、适时地产出。详情说明,请参见:配置逻辑表上游依赖。参数配置:参数配置是对代码所用的变量进行赋值,从而支持节点调度时,参数变量可以...

使用创建反向任务功能

前提条件 已创建存储空间大于业务数据库已使用的灾备数据库,建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库创建用于数据同步的账号。权限要求,请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...

MaxCompute函数管理

您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程。查看函数 进入 数据开发 页面。登录 DataWorks控制。在左侧导航栏,单击 工作空间列表。选择工作...

新建事实逻辑表

Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程各个节点,保障业务数据有效、适时地产出。详情说明,请参见:配置逻辑表上游依赖。参数配置 参数配置是对代码所用的变量进行赋值,从而支持节点调度时,参数变量可以...

新建事实逻辑表

Dataphin通过各个节点的调度依赖的配置结果,有序的运行业务流程各个节点,保障业务数据有效、适时地产出。详情说明,请参见:配置逻辑表上游依赖。参数配置 参数配置是对代码所用的变量进行赋值,从而支持节点调度时,参数变量可以...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云数据库 Redis 版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用