准备阿里云账号
步骤三：创建访问密钥AccessKey 为保证后续作业可以顺利运行，您需要创建一个运行密钥AccessKey。该密钥与注册阿里云账号时设置的账号、密码不同，主要用于在阿里云各产品间互相认证时使用权限。AccessKey包括AccessKey ID和AccessKey ...
新建标签
以下图为例，则表示为：从开始日期 2022-11-29日起每隔2月重复一次该月下最后（倒数）的第二天和第三天，于2023年-11-29日结束。年：以年为单位，支持每年重复一次标签日期的标签。结束周期支持 无限重复、限定次数、结束日期。以下图为例...
新建标签
以下图为例，则表示为：从开始日期 2022-11-29日起每隔2月重复一次该月下最后（倒数）的第二天和第三天，于2023年-11-29日结束。年：以年为单位，支持每年重复一次标签日期的标签。结束周期支持 无限重复、限定次数、结束日期。以下图为例...
实时研发基本流程概述
步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的表数据。步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行...
实时研发基本流程概述
步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的表数据。步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行...
步骤一：开发维度逻辑表
步骤三：配置逻辑表计算逻辑 在计算逻辑配置页面，单击 来源配置，进入 来源配置 对话框。在 来源配置 对话框，单击 添加来源对象，配置来源参数。参数 描述 来源表名 选择 d ataphin_tutorial.product 来源表。关联主键字段 选择 product_...
步骤一：开发维度逻辑表
步骤三：配置逻辑表计算逻辑 在计算逻辑配置页面，单击 来源配置，进入 来源配置 对话框。在 来源配置 对话框，单击 添加来源对象，配置来源参数。参数 描述 来源表名 选择 d ataphin_tutorial.product 来源表。关联主键字段 选择 product_...
新建资产专题
支持三种公开范围：全员公开可见：该租户下的所有成员可查看该资产专题。私有，仅专题管理员可见：仅专题管理员可查看该资产专题。专题管理员及指定人可见：支持专题管理员和指定成员查看该资产专题。可通过用户或用户组指定成员。按用户...
新建资产专题
支持三种公开范围：全员公开可见：该租户下的所有成员可查看该资产专题。私有，仅专题管理员可见：仅专题管理员可查看该资产专题。专题管理员及指定人可见：支持专题管理员和指定成员查看该资产专题。可通过用户或用户组指定成员。按用户...
使用Python读文件
步骤三：编写并运行Shell任务代码 在代码编写页面，编写代码。在Dataphin的Linux服务器上新建目录。mkdir-p/tmp/chars/\#指定目录/tmp/chars/为python源。pip install-i ...
修改日期类型
以下图为例，则表示为：修改开始日期 2022-11-29日起每隔2月，该月下最后（倒数）的第二天和第三天为假日，于2023年-11-29日结束。年：以年为单位，修改 从某开始日期起 每年的标签日期为假日。结束周期支持 无限重复、限定次数、结束日期...
创建Sap Table数据源
表示为字符串的三位十进制数。例如：100。用户名 和 密码 SAP服务器的用户名和密码。语言 SAP系统使用的语言。默认值为EN，如需设置成中文，请输入ZH。单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。测试成功后，单击 确定...
创建Sap Table数据源
表示为字符串的三位十进制数。例如：100。用户名 和 密码 SAP服务器的用户名和密码。语言 SAP系统使用的语言。默认值为EN，如需设置成中文，请输入ZH。单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。测试成功后，单击 确定...
修改日期类型
以下图为例，则表示为：修改开始日期 2022-11-29日起每隔2月，该月下最后（倒数）的第二天和第三天为假日，于2023年-11-29日结束。年：以年为单位，修改 从某开始日期起 每年的标签日期为假日。结束周期支持 无限重复、限定次数、结束日期...
步骤四：开发FLINK_SQL实时任务
本文将指导您完成本教程的FLINK_SQL实时任务的创建与开发。步骤一：新建 FLINK_SQL 任务 在Dataphin首页，单击顶部菜单栏 研发...步骤三：提交 FLINK_SQL 任务 单击页面左上方的 按钮，并在 提交备注 对话框中填写备注信息。单击 确定并提交。
安装及管理Python三方包
Python三分包页面介绍 参数 描述 ① 搜索及筛选区 搜索：支持通过输入Python Module对象名称搜索Python Module。筛选：支持通过选择Python Module的Python版本进行筛选。② 功能区 安装Python Module：若需安装Python Module，请参见 安装...
步骤四：开发FLINK_SQL实时任务
本文将指导您完成本教程的FLINK_SQL实时任务的创建与开发。步骤一：新建 FLINK_SQL 任务 在Dataphin首页，单击顶部菜单栏 研发...步骤三：提交 FLINK_SQL 任务 单击页面左上方的 按钮，并在 提交备注 对话框中填写备注信息。单击 确定并提交。
安装及管理Python三方包
Python三分包页面介绍 参数 描述 ① 搜索及筛选区 搜索：支持通过输入Python Module对象名称搜索Python Module。筛选：支持通过选择Python Module的Python版本进行筛选。② 功能区 安装Python Module：若需安装Python Module，请参见 安装...
创建业务限定
仅可基于来源逻辑表模型中字段，设定所需指标的范围限定条件，如：is_wireless='Y'-is_wireless 为来源逻辑表模型中的字段 组合业务限定：通过且（与）/或/非（and、or、not）三种操作符连接已提交的其他业务限定组合得到的业务限定。...
创建业务限定
仅可基于来源逻辑表模型中字段，设定所需指标的范围限定条件，如：is_wireless='Y'-is_wireless 为来源逻辑表模型中的字段 组合业务限定：通过且（与）/或/非（and、or、not）三种操作符连接已提交的其他业务限定组合得到的业务限定。...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
什么是Dataphin
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规。资产安全 数据服务 数据服务为您提供高效、便捷的主题式查询功能及有效的全链路企业内API生命周期托管，真正实现低门槛API...
安全算法说明
关键字替换 自定义字符串脱敏位置，一共有三个参数，分别为待脱敏的完整字符串、脱敏部分的正则表达式、脱敏部分的替换字符串。例如输入string1,exp,string2，则会将string1字符串中符合exp表达式的部分替换为string2。自定义掩码 自定义...
安全算法说明
关键字替换 自定义字符串脱敏位置，一共有三个参数，分别为待脱敏的完整字符串、脱敏部分的正则表达式、脱敏部分的替换字符串。例如输入string1,exp,string2，则会将string1字符串中符合exp表达式的部分替换为string2。自定义掩码 自定义...
配置DataHub输出组件
说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条，超出10000条会导致任务出错，建议将batchSize设置为小于或等于10000条，避免任务...
配置DataHub输出组件
说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条，超出10000条会导致任务出错，建议将batchSize设置为小于或等于10000条，避免任务...
步骤二：实时项目规划
步骤三：创建项目 按照下图操作指引，进入 新建项目 对话框。在 生产开发类型 步骤中选择 Basic模式 后，单击 下一步。在 新建项目 对话框中，配置项目参数。参数 描述 数据板块 不进行选择，默认为空。项目英文名 填写 flink_dataphin。...
步骤二：实时项目规划
步骤三：创建项目 按照下图操作指引，进入 新建项目 对话框。在 生产开发类型 步骤中选择 Basic模式 后，单击 下一步。在 新建项目 对话框中，配置项目参数。参数 描述 数据板块 不进行选择，默认为空。项目英文名 填写 flink_dataphin。...
步骤五：规范建模
步骤三：新建业务活动 在 数据架构 页面，按照下图操作指引，进入 新建业务实体 对话框。在 新建业务实体 对话框，配置参数。参数 描述 实体名称 输入 购买下单。编码 输入 order_buy。实体类型 选择 业务活动/业务事件。主题域 仅支持选择...
步骤五：规范建模
步骤三：新建业务活动 在 数据架构 页面，按照下图操作指引，进入 新建业务实体 对话框。在 新建业务实体 对话框，配置参数。参数 描述 实体名称 输入 购买下单。编码 输入 order_buy。实体类型 选择 业务活动/业务事件。主题域 仅支持选择...
使用Python读文件
步骤三：编写并运行Shell任务代码 在代码编写页面，编写代码。在Dataphin的Linux服务器上新建目录。mkdir-p/tmp/chars/\#指定目录/tmp/chars/为python源。pip install-i ...
安全算法
例如：中文名称安全算法，在待脱敏内容中输入张三，点击箭头，在输出值中输出*三。例如：高级算法DES原生加密安全算法，需配置以下参数：明文：支持输入长度需是8字节的倍数。密钥：在集成任务中使用该算法配置加密组件时，可使用系统管理...
申请、续期和交还密钥权限
权限类型 申请密钥的权限，包含以下三种：查看密钥值：查看密钥值权限。数据集成加密：数据集成加密转换组件配置权限。如需配置加密转换组件，请参见 配置加密转换组件。数据集成解密：数据集成解密转换组件配置权限。如需配置解密转换组件...
安全算法
例如：中文名称安全算法，在待脱敏内容中输入张三，点击箭头，在输出值中输出*三。例如：高级算法DES原生加密安全算法，需配置以下参数：明文：支持输入长度需是8字节的倍数。密钥：在集成任务中使用该算法配置加密组件时，可使用系统管理...
申请、续期和交还密钥权限
权限类型 申请密钥的权限，包含以下三种：查看密钥值：查看密钥值权限。数据集成加密：数据集成加密转换组件配置权限。如需配置加密转换组件，请参见 配置加密转换组件。数据集成解密：数据集成解密转换组件配置权限。如需配置解密转换组件...
合规&认证
安全合规认证 在帮助各行各业的企业实现数字化的过程中，瓴羊已经建立齐了一套科学有效的数据安全保护体系。瓴羊积极参与监管以及行业协会牵头的数据安全与合规标准，向行业输出瓴羊的最佳合规实践，得到了监管以及行业的认可与好评。目前...
配置集成管道质量监控
参数 描述 规则模板 选择规则模板，支持 表结构异动监测、表稳定性校验、表波动性校验 三个模板。数据表 选择该集成管道内适用该规则模板的生产环境数据表，点击 更多规则，可跳转至数据质量模块配置更多规则模板，详情请参见 创建数据表...
配置集成管道质量监控
参数 描述 规则模板 选择规则模板，支持 表结构异动监测、表稳定性校验、表波动性校验 三个模板。数据表 选择该集成管道内适用该规则模板的生产环境数据表，点击 更多规则，可跳转至数据质量模块配置更多规则模板，详情请参见 创建数据表...
网络连通解决方案
第三方云自建数据源 网络连通的常见问题 数据源网络连接测试不通时，建议您从以下几个方面排查：数据源是否已正常启动。以MySQL数据源为例，您可以在本地PC上 telnet 127.0.0.1 3306，查看数据库端口是否已开启。Dataphin无法访问数据源...
规划和设计
安全是需要设计和规划的，应在构建基于云或本地数据中心的同时，建设安全系统和相关控制措施，建立配套安全管理流程和机制，建立安全意识管理体系等。并将技术控制措施、管理流程、人员组织配套的融入云基础设施的构建、业务开发，应用上线...
- 产品推荐
- 这些文档可能帮助您