文档更新动态（2022年）
包括智能研发版、资产质量、智能运维、数据标准、资产安全、资源治理等功能。新增免费试用申请流程、免费试用服务协议相关文档。新增说明 Dataphin免费试用申请、Dataphin智能数据建设与治理试用服务协议 2022年10月 更新时间 特性 描述 ...
创建OceanBase数据源
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
创建OceanBase数据源
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
通知设置
资源用量：用于数据处理单元、数据标准、智能运维等资源统计用量情况的通知。租户管理：用于租户设置变更的通知。系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航...
API任务概述
Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连数据源...
分析业务过程
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
规范建模概述
前提条件 使用规范建模，当前租户须开启智能研发模块。仅绑定数据板块的项目支持规范建模功能。绑定错误或未绑定数据板块，则规范建模功能不可用。关于项目和数据板块的绑定，请参见 创建通用项目。规范建模所支持功能由创建项目时所选择的...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 ...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
安全算法说明
FPE保留格式加/解密（ff1）加解密后格式保持与明文相同的对称加密方式，无需更改数据库范式，计算后的数据仍然可参与运算，使用友好，常用于金融服务或遵守特定数据隐私标准的应用。AES原生加/解密 通用加密算法AES，属于对称加密的一种，...
创建AnalyticDB for MySQL 2.0数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
新功能发布记录
时间 特性 类别 描述 2023-12-26 智能开放搜索 OpenSearch-LLM智能问答版表格问答功能发布，支持对接MaxCompute 新增 OpenSearch智能问答版支持表格数据，提供针对表格数据的智能问答能力，支持MaxCompute数据源快速导入。2023-11-27 智能...
安全白皮书概述
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
手动运行标签
若您的标签更新方式为手动更新，您可手动选择所需运行的版本并运行标签。本文将指导您如何手动运行标签。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签。进入Dataphin 标签 页面后，默认进入 ...说明 手动运行时计算的是最新分区的数据。
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
查看资源使用情况-全托管
如果您还购买了Dataphin的增值功能包，可以查看增值功能的用量情况，包括 智能运维、数据标准、资产质量、数据服务 以及 标签工厂。资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
SQL增强操作
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
DML操作
MaxCompute中的DML语句包括插入、更新和删除数据操作。本文为您介绍Dataphin支持的MaxCompute的DML操作语句。功能 是否支持 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）支持 insert {into|overwrite} table[partition()]...
DML操作
MaxCompute中的DML语句包括插入、更新和删除数据操作。本文为您介绍Dataphin支持的MaxCompute的DML操作语句。功能 是否支持 插入或覆写数据（INSERT INTO|INSERT OVERWRITE）支持 insert {into|overwrite} table[partition()]...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
购买指引-全托管
版本适用场景 Dataphin提供了多种版本和功能的组合，以适配不同场景、不同数据体量客户的诉求：智能研发版（离线&实时）：支持离线研发和实时研发场景，可创建生产开发隔离的双环境项目，提供智能建模、逻辑运维等特色功能，适用于数据量...
新建AnalyticDB for MySQL 3.0数据源
通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...
创建MongoDB数据源
通过创建MongoDB数据源能够实现Dataphin读取MongoDB的业务数据或向MongoDB写入数据。本文为您介绍如何创建MongoDB数据源。背景信息 如果您使用的是MongoDB，在引入MongoDB的业务数据至Dataphin中或将Dataphin数据导出至MongoDB的场景中，您...
新建AnalyticDB for MySQL 3.0数据源
通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...
- 产品推荐
- 这些文档可能帮助您