创建达梦（DM）数据源
通过创建达梦（DM）数据源能够实现Dataphin读取达梦（DM）的业务数据或向达梦（DM）写入数据。本文为您介绍如何创建达梦（DM）数据源。背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
创建Microsoft SQL Server数据源
通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块...
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 请参见 补数据任务页面入口，进入 补数据任务 页面。在 补数据任务 页面，...
创建PolarDB-X数据源
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
新建AnalyticDB for MySQL 3.0数据源
通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...
创建FTP数据源
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 FTP即文件传输协议。如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成...
使用场景
本文为您介绍任务编排的应用场景。包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据...数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度，保证任务按时执行。
数据服务概述
Dataphin数据源可以作为 Quick BI 的数据源，对业务数据进行展示、分析、探查和制作报表等 场景及使用流程 在开始使用数据服务前，需要您了解数据服务的使用场景，及在不同场景下对应角色的操作流程。入口介绍 在Dataphin首页，单击 服务，...
创建OSS数据源
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。如果您使用的是阿里云对象存储OSS，在对接Dataphin进行数据开发或将Dataphin的数据写入至OSS时，...
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建补...
创建FTP数据源
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 FTP即文件传输协议。如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成...
创建AnalyticDB for PostgreSQL数据源
通过创建AnalyticDB for PostgreSQL数据源能够实现Dataphin读取AnalyticDB for PostgreSQL的业务数据或向AnalyticDB for PostgreSQL写入数据。本文为您介绍如何创建AnalyticDB for PostgreSQL数据源。背景信息 AnalyticDB for PostgreSQL即...
Slowly Changing Dimension
业务数据随着时间在不断变化，如果您要对数据进行分析，则需要考虑如何存储和管理数据。其中数据中随着时间变化的维度被称为Slowly Changing Dimension（SCD）。E-MapReduce根据实际的数仓场景定义了基于固定粒度的缓慢变化维（G-SCD）。...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
创建OSS数据源
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。如果您使用的是阿里云对象存储OSS，在对接Dataphin进行数据开发或将Dataphin的数据写入至OSS时，...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
新建AnalyticDB for MySQL 3.0数据源
通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
创建PolarDB-X数据源
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
创建AnalyticDB for PostgreSQL数据源
通过创建AnalyticDB for PostgreSQL数据源能够实现Dataphin读取AnalyticDB for PostgreSQL的业务数据或向AnalyticDB for PostgreSQL写入数据。本文为您介绍如何创建AnalyticDB for PostgreSQL数据源。背景信息 AnalyticDB for PostgreSQL即...
概述
由于这些不同的业务数据之间需要交互，为了实现这两个数据库之间双向的数据访问，您可以创建 PolarDB PostgreSQL版（兼容Oracle）（A）到 PolarDB PostgreSQL版（兼容Oracle）（B）的DBLink和 PolarDB PostgreSQL版（兼容Oracle）（B）到 ...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
什么是数据库存储DBFS
若业务数据增长后，可友好的在线扩容。共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展。主备高可用：基于共享存储实现数据库主备无数据丢失的秒级切换。多活高可用：可部署例如Oracle RAC、SAP HANA等数据库及应用集群。一...
创建Kafka数据源
通过创建Kafka数据源能够实现Dataphin读取Kafka的业务数据或向Kafka写入数据。本文为您介绍如何创建Kafka数据源。背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在...
创建Kafka数据源
通过创建Kafka数据源能够实现Dataphin读取Kafka的业务数据或向Kafka写入数据。本文为您介绍如何创建Kafka数据源。背景信息 Kafka是一种消息队列，用于处理实时数据。Dataphin支持对接Kafka09、Kafka010、Kafka011。如果您使用的是Kafka，在...
关系图
DataWorks支持的模型及其介绍如下：概念模型-维度：维度是您观察业务状况的视角，您可在维度建模中规划并创建维度，后续创建维度表时进行关联，关联后即可通过不同维度分析呈现不同视角的业务数据状况。逻辑模型-维度表：结合业务的数据域...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
创建业务流程
前提条件 开始本操作前，请确保您已经在工作空间中准备好业务数据表 bank_data 和其中的数据，以及结果表 result_table。详情请参见 建表并上传数据。背景信息 DataWorks的数据开发功能支持在业务流程中，通过可视化拖拽来完成节点间的依赖...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
创建元数据
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
主备方案介绍
云数据库HBase存储海量大数据，在业务场景中往往承载着重要数据，为保障数据的高可用性和安全性，云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活：大数据量随机读响应...
一键创建OSS数据仓库
说明 您可以根据实际业务数据的存储方式，选择将RDS、PolarDB for MySQL、MongoDB数据或者ECS自建数据库数据同步到OSS。类别 参数 说明 云RDS、PolarDB for MySQL、MongoDB 类型 数据源的类型为RDS、PolarDB for MySQL、MongoDB。通过单击...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
通过数据订阅实现缓存更新策略
此时，业务需要实现缓存更新策略，保证业务数据更新后，缓存中的数据能够被同步更新。操作步骤 本文以IntelliJ IDEA软件为例，介绍如何运行SDK示例代码来消费订阅数据。下载数据订阅 SDK示例代码文件，然后解压该文件。使用IntelliJ IDEA...
- 产品推荐
- 这些文档可能帮助您