低成本RDS历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
应用场景：低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过APP写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
明确统计指标
数据需求为最近一天厨具类目的商品在各省的销售总额、该类目销售额前10的商品名称、各省用户购买力分布（人均消费额）等，用于营销分析。基于规范定义，确认业务过程为确认收货（交易成功），对应事实模型中的度量（商品的销售金额）。因此...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
购买指引
场景1：新用户推荐配置 推荐配置 推荐原因 功能：推荐购买 专业版，专业版满足企业专业的数据仓库构建需求，覆盖数据开发、任务运维、数据地图、数据质量等绝大部分功能。资源：推荐购买 独享数据集成资源组，以支持更好的同步体验，支持离...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
DataWorks模块使用说明
使用流程概览：参考文档：数据分析概述 数据治理 子模块：数据地图 功能说明：DataWorks数据地图提供了企业级数据管理平台，能够基于统一元数据的底层建设，提供数据对象的管理和盘点的能力，以及数据对象的快速查找和深度理解的能力。...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
了解数据资源平台用户和角色体系
数据资源平台提供了完善的权限管控机制，支持以租户或工作组为管控粒度，通过对用户授予不同的角色实现全局或工作组内的各组件功能权限管控。本文为您详细介绍租户、工作组粒度下的角色体系。背景信息 数据资源平台功能权限是基于角色的...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
功能简介
数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码、可视化构建全场景专家模型，重塑大数据服务创新模式。将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，...
功能简介
洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
开放平台概览
功能简介 开放API（OpenAPI）DataWorks开放平台的OpenAPI功能为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。您还可以在OpenAPI区域查看...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
Hadoop集群迁移至DataLake集群
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
需求阶段
数仓的最基本职责是定义和发现在企业决策中使用的信息，随着企业战略方向的改变与...确认并合并需求 数据产品经理将上一版本定稿的产品需求文档内容，与本次评审定稿的产品需求文档内容进行合并。如果两个工作日内无异议，则视为需求确认。
DataWorks数据安全治理路线
DataWorks基于数据安全治理的常见思路，针对资产梳理、技术体系建设和运营体系建设，提供了一系列数据安全产品能力，您可通过“基础防护建设、数据安全防护措施及策略增强建设、数据安全持续运营”三个阶段在DataWorks上落地数据安全治理...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
创建数仓分层
应用层：基于实际应用需求，获取公共层加工整合后的数据，进行持续的个性化数据建设及改造。该层级可挂载 应用表、维度表、维度，以及 维度表、维度（即维度表和维度的组合）。其他：用于存放存量创建的系统默认层级及用户自定义的层级。...
数据安全治理的常见思路
技术体系建设：基于数据全生命周期的识别、检测、防护、响应等安全技术设施，按实际需求部署各类安全防护产品。运营体系建设：定期评估风险与基线扫描，并进行日常与专项审计。同时，建立监控预警机制，落实风险事件应急处理，产出“数据...
数据服务概述
为满足高阶用户的个性化查询需求，数据服务为您提供自定义SQL的 脚本模式，您可以自行编写API的查询SQL。在脚本模式下，支持多表关联、复杂查询和聚合函数等功能。详情请参见 通过脚本模式生成API。将已有API快速注册至本平台进行统一管理...
计费逻辑说明
任务量需求 数据集成任务高并发执行且无法错峰运行的情况下，企业需要独享的计算资源来保障数据快速、稳定地传输，此时您可选择使用独享数据集成资源组。访问公网需求 独享数据集成资源组拥有公网访问能力，如果您的数据库在公网内，独享...
合规&认证
Dataphin智能数据建设与治理作为瓴羊开发云领域的核心产品，⾼度重视产品的合规性并积极对标国内和国际最⾼标准合规性要求。当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在...
- 产品推荐
- 这些文档可能帮助您