产品简介
适用场景 如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
外部表概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
Dataphin中业务板块、数据域和项目之间的关系
产品名称 Dataphin 产品模块 数据域 概述 本文描述Dataphin业务板块、数据域和项目之间的关系。问题描述 Dataphin业务板块、数据域和项目之间的关系是什么？问题原因 NA 解决方案 业务板块是逻辑空间的重要组成部分，是基于业务特征划分的...
新建普通维度逻辑表
命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h时效,小时全量,每小时存储历史截止当前小时的全量...
新建普通维度逻辑表
命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效，<数据时效>展示信息不同，详细说明如下：df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h时效,小时全量,每小时存储历史截止当前小时的全量...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
创建数据板块
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。在开始执行操作前...
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
管理动态脱敏白名单
数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test....
逻辑结构说明
说明 在Dataphin 3.3版本，维度更名为业务对象，业务过程更名为业务活动，数据域更名为主题域，业务板块更名为数据板块。各层中核心概念的详细内容请参见下表。核心概念 简要含义 数据板块 数据板块定义了数据仓库的多种命名空间，是一种...
东软案例
业务/技术亮点 移动端到云端业务全链路海量运维大数据存储。指标、日志等多源异构监控数据融合分析。99.99%数据可用性的高可靠低成本存储。客户感言 利用阿里云新一代 云原生多模数据库 Lindorm“灵动”引擎驱动的政府、企业数字信息系统...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
数仓规划权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
应用场景：低成本历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
创建并管理业务实体
业务实体包含业务对象和业务活动：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生而存在的对象。例如客户、员工、产品等具体的业务对象；地域、组织关系和产品类目等抽象的业务对象。业务活动是一个或者多个...
创建并管理业务实体
业务实体包含业务对象和业务活动：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生而存在的对象。例如客户、员工、产品等具体的业务对象；地域、组织关系和产品类目等抽象的业务对象。业务活动是一个或者多个...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
跨境SaaS:深圳市易仓科技有限公司
存在资源碎片，资源利用率低 痛点5:业务快速发展，租户数据越来越大，存储成本越来越高 痛点6:传统主从架构数据库模式，实例众多，数据集成成本高 痛点7:租户数据量越来越大，单租户维度查询性能遇瓶颈 解决方案 PolarDB多主集群助力易仓跨...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
步骤二：规划数仓
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
增量导出发布包
例如需导出特定时间段内的变更或指定业务板块/项目下对象时，可使用增量导出的方式。本文为您介绍在来源环境中如何增量导出发布包文件。前提条件 需在跨租户发布设置中配置发布凭证、发布包的存储位置、权限校验及审批配置等，详情请参见 ...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
查看指标校验记录
数据板块 指标所属的业务板块。所属项目 指标所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 指标校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量规则校验...
查看指标校验记录
数据板块 指标所属的业务板块。所属项目 指标所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 指标校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量规则校验...
新建虚拟维度逻辑表
虚拟维度逻辑表的用于规范化没有具体业务实体承载、没有可固化数据范围逻辑定义的维度对象，例如访客、URL。本文为您介绍如何新建虚拟维度逻辑表。前提条件 已完成虚拟业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：新建...
- 产品推荐
- 这些文档可能帮助您