配置DM（达梦）输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 ...
使用Python读文件
cat>openfile.py*-coding:utf-*-import os import sys sys.path.append('/tmp/chars/')import openpyxl print '=python execute ok=' print("start=")args=sys.argv#打开excel文件，获取sheet名 wb=openpyxl.load_..._names 这个方法已过时...
使用Python读文件
cat>openfile.py*-coding:utf-*-import os import sys sys.path.append('/tmp/chars/')import openpyxl print '=python execute ok=' print("start=")args=sys.argv#打开excel文件，获取sheet名 wb=openpyxl.load_..._names 这个方法已过时...
创建OSS数据源
您可以创建一个或多个存储空间，每个存储空间可添加一个或多个文件。您可以在数据同步任务中查找此处输入的存储空间中相应的文件，没有添加的存储空间，则不能查找其中的文件。目录 如仅有特定目录下的权限，可在此指定目录路径。例如，/...
创建OSS数据源
您可以创建一个或多个存储空间，每个存储空间可添加一个或多个文件。您可以在数据同步任务中查找此处输入的存储空间中相应的文件，没有添加的存储空间，则不能查找其中的文件。目录 如仅有特定目录下的权限，可在此指定目录路径。例如，/...
分析业务过程
业务过程可以是单个业务事件（例如交易的支付、退款），也可以是某个事件的状态（例如当前的账户余额），还可以是一系列相关业务事件组成的业务过程。具体取决于您分析的是某些事件过去的发生情况、当前状态，或是事件流转效率。分析业务...
元数据仓库共享模型概述
一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 您可根据当前使用的Dataphin的元仓租户计算引擎类型查看对应的共享模型数据：元数据仓库共享...
规范定义最佳实践
例如电商订单是一个业务过程，业务过程由下单、支付、发货和确认收货等不可拆分的事件组成，每个事件就是一个业务过程。统计周期 统计的时间范围，也可以称为时间周期。例如最近1天、最近30天等（类似于SQL中Where后的时间条件）。统计粒度...
规范定义最佳实践
例如电商订单是一个业务过程，业务过程由下单、支付、发货和确认收货等不可拆分的事件组成，每个事件就是一个业务过程。统计周期 统计的时间范围，也可以称为时间周期。例如最近1天、最近30天等（类似于SQL中Where后的时间条件）。统计粒度...
配置PolarDB输入组件
如果 来源表 选择了 多表，则按照下图操作指引，添加需要读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须具有 相同结构的表，否则会...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
配置PolarDB输入组件
如果 来源表 选择了 多表，则按照下图操作指引，添加需要读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须具有 相同结构的表，否则会...
配置解密转换组件
每个加密字符均需要是单字符，不支持输入空格，不支持重复（输入重复字符时，系统将自动去重）。最多输入 10000个 加密字符。如果您需要使用空格或转义字符作为加密字符请进行勾选，未进行勾选的情况下，直接输入 等字样系统将识别为单独的...
配置解密转换组件
每个加密字符均需要是单字符，不支持输入空格，不支持重复（输入重复字符时，系统将自动去重）。最多输入 10000个 加密字符。如果您需要使用空格或转义字符作为加密字符请进行勾选，未进行勾选的情况下，直接输入 等字样系统将识别为单独的...
新建Amazon S3数据源
背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业在云中存储和检索数据。如果您使用的是Amazon S3，在对接Dataphin进行数据开发或将Dataphin的数据写入至Amazon S3时，您需要先完成...
新建Session集群
每个租户下可以通过Session集群资源组创建Session集群，用于Flink任务的开发调试。本文将为您介绍如何基于Session集群资源组新建Session集群。使用限制 目前一个租户仅支持创建一个Session集群。权限说明 仅支持 超级管理员 或 系统管理员 ...
新建Amazon S3数据源
背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业在云中存储和检索数据。如果您使用的是Amazon S3，在对接Dataphin进行数据开发或将Dataphin的数据写入至Amazon S3时，您需要先完成...
设置Dataphin实例的计算引擎
在开始使用Dataphin前，您需要完成Dataphin实例计算引擎的设置，即配置Dataphin实例的计算集群地址。在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。本文为您介绍如何设置Dataphin实例的计算引擎。背景信息 当前，Dataphin...
创建API数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建API数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
登录认证概述
为了安全地访问Dataphin，您需要在使用Dataphin前进行登录认证，即提供其身份证明。Dataphin登录认证方式支持SAML、OAuth2.0协议的SSO（单点登录）及阿里云访问控制。您可以通过Dataphin支持的协议将企业已有的认证系统集成至Dataphin，以...
创建Redis数据源
背景信息 Redis一个高性能的key-value数据库，多用于缓存，事件发布或订阅，高速队列等场景。更多学信息，请参见 Redis官网。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白...
Ververica Flink实时任务资源自定义
操作步骤 在资源配置页面，为您展示一张拓扑图，图中每个方框代表了一个计算任务，都可以进行独立配置。每个Group代表着Group内部的节点可以存放在一台机器进行计算，可以有效避免数据的网络传播，提升性能。图中当前的资源配置就是系统...
配置TiDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置TiDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
实时模式依赖关系配置
当前节点 通过执行如下操作，设置当前节点的输出名称，根据需要您可以设置多个输出名称，供其他节点依赖使用：单击 手动添加输出。在 新增当前节点输出 对话框中，填写输出名称。输出名称的命名规则请尽量统一，一般命名规则为 生成项目名....
配置GBase 8a输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置GBase 8a输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
创建衍生原子指标
例如，一个已提交的原子指标为支付金额，另一个已提交的原子指标为支付人数，您可以通过新建衍生原子指标的方式统计人均支付金额。本文为您介绍如何创建衍生原子指标。操作步骤 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引...
创建衍生原子指标
例如，一个已提交的原子指标为支付金额，另一个已提交的原子指标为支付人数，您可以通过新建衍生原子指标的方式统计人均支付金额。本文为您介绍如何创建衍生原子指标。操作步骤 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引...
创建Impala数据源
Kerberos Kerberos是一种基于对称密钥技术的身份认证协议：Hadoop集群有Kerberos认证，则需要开启 Kerberos。Hadoop集群没有Kerberos认证，则无需开启 Kerberos。Krb5文件/KDC Server、Keytab File、Principal 开启 Kerberos 后，需要配置...
配置Impala输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
配置HDFS输出组件
导出列头 选择是否导出列头：导出：会在每一个文件中的第一行输出字段名。不导出：则文件的第一行为数据。输入字段 展示从输入表中读取的字段。输出字段 展示目标表的字段。同时您也可以通过 批量添加 和 新建输出字段 的方式手动添加输出...
配置Greenplum输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。支持 枚举形式、类正则形式 以及 两者混合形式，如 table_[001-100];table_102。切分键 配合并发度配置使用。您可以将源数据表中某一列作为切分键，该字段类型必须是整型数字，...
配置邮件消息渠道
STARTTLS加密：即将端口25从不加密升级为加密，且让一种协议占据一个端口，端口为587。不加密：此连接方式发送的邮件为明文邮件，端口为25。覆盖默认端口 选择是否将您配置的端口覆盖默认端口。发送服务器 邮件服务器的地址。显示名 发送...
配置MySQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
配置MySQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
配置Greenplum输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。支持 枚举形式、类正则形式 以及 两者混合形式，如 table_[001-100];table_102。切分键 配合并发度配置使用。您可以将源数据表中某一列作为切分键，该字段类型必须是整型数字，...
- 产品推荐
- 这些文档可能帮助您