离线集成管道通道配置
流量监控 无流量时间阈值 如读取数据与结果传输的过程中，由于查询与传输数据时间过久或数据库负载过大，无数据流量持续时间超过该时长，则置任务失败。默认30分钟，最小值为5，最大值为2880分钟（48小时）。单击 确定，完成通道配置。后续...
SQL可视化图表
本文为您介绍不同类型图表的适用场景，辅助您快速选取合适的图表进行数据呈现和展示。折线图 折线图适用于展示在相等的时间间隔下数据的趋势走向，例如，分析商品销量随时间的变化，预测未来的销售情况。图例 数据要素 X轴 Y轴 拆分 说明 ...
SQL可视化图表
本文为您介绍不同类型图表的适用场景，辅助您快速选取合适的图表进行数据呈现和展示。折线图 折线图适用于展示在相等的时间间隔下数据的趋势走向，例如，分析商品销量随时间的变化，预测未来的销售情况。图例 数据要素 X轴 Y轴 拆分 说明 ...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
资源监控
说明 调度资源大盘的资源监控数据来源于Prometheus，请确保您后台部署的Prometheus监控服务处于正常状态，否则监控数据可能有误或无法展示。操作步骤 使用元仓账号或系统管理员账号进入元仓租户。在Dataphin首页，单击顶部菜单栏 管理中心...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
测试与发布API
开发的API只有通过测试并发布至数据服务市场中，用户才可以在数据服务市场中查询并申请调用该API的权限。本文为您介绍如何测试与发布API至数据服务市场中。前提条件 在开始执行操作前，请确认您已完成API的创建。更多信息，请参见 API任务...
调用API
在为企业建立API生态场景中，您需要调用API进行二次开发或开放API给合作伙伴等，帮助企业实现数据的资产化和价值化。本文为您介绍如何调用API。前提条件 API已发布至数据服务市场。具体操作，请参见 测试与发布API。需先创建应用。具体操作...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
逻辑结构说明
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域，是对某个主题分析后确定的主题边界。例如，商品域、交易域、会员域等。项目 ...
图扑案例
Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大幅度降低了数据存储和存储系统运维...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute等数据仓库，也支持对接企业传统数据库，如MySQL、Oracle等...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
核心概念
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
数仓构建流程
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
质量大盘
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
质量大盘
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
新建层级维度逻辑表
例如时间层级维度逻辑表，包含日、周、月、季、年等日期数据。本文为您介绍如何新建并配置层级维度逻辑表。前提条件 已完成层级业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：创建层级维度逻辑 请参见 数据开发入口，进入...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
什么是Dataphin
同时，Dataphin可以为您提升构建数据体系的效率，降低成本：提升效率：提供全链路、一站式、智能化的数据构建与管理工具，降低数据建设门槛。不同背景的开发人员可以自助ETL，快速满足业务需求。通过OneData（OneModel、OneID、OneService...
Dataphin新手引导
导入预制模型 是Dataphin内置零售行业数据模型，可快速导入体验模型建设功能。新建流程引导 帮助您从零开始逐步完成数据规划与研发步骤，了解Dataphin的基础操作步骤。单击 去导入 按钮，进入 管理中心-预制模型-模型市场 页面，详情请参见...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员、运营人员的需求，沉淀出相关文档。您可以通过调查表、...
- 产品推荐
- 这些文档可能帮助您