数据引入层（ODS）
业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，您需要首先了解MaxCompute支持的 数据类型版本说明。数据引入层表设计 本教程中，在ODS层主要包括...
数据引入层（ODS）
业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，您需要首先了解MaxCompute支持的 数据类型版本说明。数据引入层表设计 本教程中，在ODS层主要包括...
功能简介
在实际的业务系统中，数据来源多种多样的，不同数据对数据处理的时延和数据量的要求不同，这就需要综合多种不同的平台，包括批量、流式环境等。进行数据处理时，上一个平台计算完毕后把数据传递给下一个平台进行计算，多个平台互相配合来...
数据开发
在实际的业务系统中，数据来源多种多样，不同数据对数据处理的时延和数据量的要求不同，这就需要综合多种不同的平台，包括批量、流式环境等。进行数据处理时，上一个平台计算完毕后把数据传递给下一个平台进行计算，多个平台互相配合来完成...
Cost-based SQL诊断引擎
解决方案 SQL诊断优化服务是阿里云数据库自治服务DAS中最为核心的服务之一，它以SQL语句作为输入，由DAS完成诊断分析并提供专家优化建议（包括索引建议、语句优化建议以及预期收益等信息），用户不必精通数据库优化领域专家知识，即可获得...
创建元数据
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
混合存储型（已停售）
实例性能 混合存储型实例的性能与实例规格以及业务中数据被访问的概率有很大的关系：实例规格越高，内存数据的访问比重越高，性能就越强。理想的场景中，所有的访问都命中内存，此时实例性能与Redis社区版实例基本一致；反之，在内存命中率...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
伯俊软件
所属行业：互联网、软件 网站地址：上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
应用场景
实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步...
高压缩引擎（X-Engine）介绍
解决方案：PolarDB 高压缩引擎（X-Engine）为应对如上历史数据归档存储方面的挑战和诉求，PolarDB 基于如下技术创新和突破，推出了 高压缩引擎（X-Engine）产品系列：阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据...
数据风险点监控
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
创建通用项目
如果您需要加速业务数据的查询速度，则在创建项目空间前需要创建加速计算源。具体操作，请参见 创建加速计算源。如果您选择的Dataphin的计算引擎为Hologres，且数据研发过程中需要使用即席查询、Hologres SQL计算任务等功能，则在创建项目...
离线数据加工卡点
离线数据加工卡点，主要指在业务系统的数据生成过程中进行的卡点校验。代码提交的卡点校验 代码提交卡点主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期...
创建标签项目
贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
维度建模概述
维度表 结合业务的数据域的规划，提取出各业务数据域中进行数据分析时可能存在的维度，并将维度及其属性通过维度表的方式存储下来。例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
赛盒广告精细化管理方案
解决方案 针对以上问题，阿里云通过 分析型数据库MySQL（AnalyticDB MySQL）和Quick BI制定了解决方案。方案中采用 AnalyticDB MySQL 存放业务数据，AnalyticDB MySQL 的配置为集群版16个C8节点，可支撑上万TPS（Transactions-per-second）...
背景信息以及准备工作
LOG+OSS+DLA+DataV 将业务应用程序产出的业务日志采集到日志服务中，通过定时日志投递（最小5分钟延迟）到OSS中，再通过定时查询，刷新到业务数据大屏中。上述方案有以下优势：日志服务（Log Service，简称LOG/原SLS）是针对实时数据一站式...
数据治理
敏感数据保护 对于业务中对数据保护的需求，您可以将数据进行动态或静态脱敏，在当前实验中，会将表（retail_e_commerce_2.dim_ec_mbr_user_info）中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导，更多数据保护...
典型客户案例
解决方案 中华财险新的全分布式核心系统采用阿里云全套专有云平台、数据中台、业务中台与蚂蚁产品，并创新性地引入蚂蚁公共平台。这是保险行业有史以来第一次基于混合云模式构建核心系统。整个方案包含飞天云计算操作系统、分布式中间件...
创建达梦（DM）数据源
通过创建达梦（DM）数据源能够实现Dataphin读取达梦（DM）的业务数据或向达梦（DM）写入数据。本文为您介绍如何创建达梦（DM）数据源。背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新...
创建达梦（DM）数据源
通过创建达梦（DM）数据源能够实现Dataphin读取达梦（DM）的业务数据或向达梦（DM）写入数据。本文为您介绍如何创建达梦（DM）数据源。背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
概述
由于这些不同的业务数据之间需要交互，为了实现这两个数据库之间双向的数据访问，您可以创建 PolarDB PostgreSQL版（兼容Oracle）（A）到 PolarDB PostgreSQL版（兼容Oracle）（B）的DBLink和 PolarDB PostgreSQL版（兼容Oracle）（B）到 ...
分析业务过程
用户的业务系统中，通过埋点或日常积累，通常已经获取了充足的业务数据。为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括...
分析业务过程
用户的业务系统中，通过埋点或日常积累，通常已经获取了充足的业务数据。为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括...
应用场景
互联网金融中台 说明 以强大的业务中台为支撑，支持产品快速组合创新。基于蚂蚁集团中台战略及架构的最佳实践，将企业级公共能力进行抽象，形成以客户服务、运营服务、分布式架构为基础的业务中台体系，实现开放、可扩展、组件化、分布式的...
数仓规划概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。详情请参见 数据域。业务过程...
产品系列
标准版（历史库）随着业务发展，当您的数据库系统中积累了大量访问频率低却仍需要保持的数据，为节约成本，可选择购买标准版（历史库），将长期不使用的数据迁移至以文件形式存储的廉价存储设备上。标准版（历史库）具有如下特点：大容量...
全场景解决方案
降低总体拥有成本 帮助客户快速构建“核心业务系统”、“业务中台”等解决方案，降低时间成本。开放的 X86 架构，灵活的弹性调度，统一信息标准，以及配套的分布式治理工具，帮助客户精准、高效的治理运维，降低总体拥有成本。客户案例 暂...
新零售行业解决方案
解决方案 采用阿里云ADAM（Advanced Database&Application Migration）智能分析平台云端通过场景化、流程化、自动化的完成业务代码的分析和调整形成去O方案。采用 PolarDB PostgreSQL版（兼容Oracle）替代Oracle RAC数据库，数据库性能大幅...
百华悦邦
解决方案 采用阿里云ADAM（Advanced Database&Application Migration）智能分析平台云端通过场景化、流程化、自动化的完成业务代码的分析和调整形成去O方案。采用 PolarDB PostgreSQL版（兼容Oracle）代替Oracle RAC数据库，数据库性能大幅...
公共维度汇总层（DIM）
数据仓库是业务源系统的数据整合，不同业务系统或者同一业务系统中的表之间存在关联性。根据对业务的梳理，确定哪些表和主维表存在关联关系，并选择其中的某些表用于生成维度属性。以商品维度为例，根据对业务逻辑的梳理，可以得到商品与...
- 产品推荐
- 这些文档可能帮助您