Ververica Flink实时任务资源自定义
heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory开销,例如申请一定的heap_memory作为程序的缓存等，因此您可以按程序的规模来设置其大小。Off-Heap Memory 定义堆外...
Ververica Flink实时任务资源自定义
heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory开销,例如申请一定的heap_memory作为程序的缓存等，因此您可以按程序的规模来设置其大小。Off-Heap Memory 定义堆外...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
明细数据层（DWD）
事实表设计示例 下面以A公司的订单交易事务型事实表为例，阐述事务型事实表的一般设计过程。选择业务过程。按照之前的业务流程分析，A公司的交易订单流程包含四个重要过程：创建订单、买家付款、卖家发货、确认收货，即下单、支付、发货和...
Alibaba Blink实时模式资源自定义
heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory开销，例如申请一定的heap_memory作为程序的缓存等，因此您可以按程序的规模来设置其大小。parallel 表示同时并发的...
Alibaba Blink实时模式资源自定义
heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory开销，例如申请一定的heap_memory作为程序的缓存等，因此您可以按程序的规模来设置其大小。parallel 表示同时并发的...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
逻辑结构说明
项目 项目是一种物理空间上的划分，便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。业务对象 人们观察事物的角度，是指一种视角，是确定事物的多方位、多角度、多层次的条件和概念。业务活动 业务过程即企业的业务活动...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员、运营人员的需求，沉淀出相关文档。您可以通过调查表、...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
使用限制
本文为您介绍使用Dataphin过程中的操作限制。浏览器限制 您需要使用Google Chrome浏览器90.x及以上版本或者奇安信可信浏览器登录Dataphin。使用限制 为保障软件系统稳定，Dataphin有部分使用上的限制或建议，详情如下表所示。功能项 操作项...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
离线数仓构建流程概述
使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置...
离线数仓构建流程概述
使用Dataphin进行离线数仓建设的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
漏洞管理
Dataphin实施了漏洞管理流程，结合使用商业化工具和内部专门...该白盒漏洞扫描针对产品的源代码进行语法、结构、过程、接口等的白盒测试，用以发现应用程序的安全风险。经过安全团队白盒漏洞扫描，最终Dataphin系统的安全评价为：安全系统。
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
什么是Dataphin
这个过程可以实现各类业务数据的同步与集成，助您完成基础数据中心建设，为后续进一步加工数据奠定基础。数据引入 规范定义 以维度建模作为理论基础，构建总线矩阵，划分并定义数据域、业务活动（业务过程）、业务对象（维度）、原子指标、...
分析业务过程
您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完企业的工作职责范围（部门）后，借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档和业务运行（开发、设计、变更等）...
定义维度与构建总线矩阵
根据阿里巴巴OneData方法论，明确每个主题域中有哪些业务过程后，您需要开始定义维度，并基于维度构建总线矩阵。定义维度 在划分主题域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程中，以A电商公司的营销业务板块为例，在...
资产安全概述
场景2：开发环境数仓建设 敏感数据从生产环境写入开发环境过程中，您可以使用资产安全内置的敏感数据识别规则和脱敏规则，自动实现敏感数据的脱敏，确保敏感数据始终保留在高权限的生产环境，不会泄露到开发环境。场景3：脱敏白名单的灵活...
资产安全概述
场景2：开发环境数仓建设 敏感数据从生产环境写入开发环境过程中，您可以使用资产安全内置的敏感数据识别规则和脱敏规则，自动实现敏感数据的脱敏，确保敏感数据始终保留在高权限的生产环境，不会泄露到开发环境。场景3：脱敏白名单的灵活...
设置Dataphin实例的计算引擎
校验成功后，单击 确认并开始数据建设，即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后，您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作，请参见 准备数据源和计算源。
离线集成管道通道配置
配置了 容错配置 的任务运行过程中会出现如下两种情况：管道运行过程中，如果各节点累计的错误数超过容错范围，则当前管道任务会失败。管道运行过程中，如果各节点累计的错误数在容错范围内，则任务继续运行。说明 未配置时，默认为0。表示...
离线集成管道通道配置
配置了 容错配置 的任务运行过程中会出现如下两种情况：管道运行过程中，如果各节点累计的错误数超过容错范围，则当前管道任务会失败。管道运行过程中，如果各节点累计的错误数在容错范围内，则任务继续运行。说明 未配置时，默认为0。表示...
步骤五：规范建模
背景信息 数据建模是使用可视化视图的方式抽象表示或定义业务的过程。通过构建数据模型，可清晰的梳理出业务所参与的对象和业务活动，帮助企业全面的了解业务过程，从而改进业务流程。同时也能够推进业务从数据视角出发，消灭企业之间的...
步骤五：规范建模
背景信息 数据建模是使用可视化视图的方式抽象表示或定义业务的过程。通过构建数据模型，可清晰的梳理出业务所参与的对象和业务活动，帮助企业全面的了解业务过程，从而改进业务流程。同时也能够推进业务从数据视角出发，消灭企业之间的...
维度层（DIM）
以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑和雪花模型，完成属性定义的过程并建立一致的数据分析维表。同时您可以定义维度主子关系，子维度的属性将合并至主维度使用，...
创建服务项目
API发布管控 API发布到线上使用的过程中，有四种变更场景（新增必填请求参数；删减请求参数；删减返回参数；变更请求参数的数据类型），导致影响API以及关联的组合API的正常调用。因此，在API绑定应用或者被组合API引用后，API发布新版本到...
明确统计指标
统计指标包括派生指标、原子指标、业务限定、业务过程和统计粒度（即维度）。在设计模型前，建议先完成该部分工作，以便设计出易于使用的数据仓库。指标定义注意事项 原子指标是明确统计口径和计算逻辑，事实模型或维度模型定义完成，即可...
- 产品推荐
- 这些文档可能帮助您