智能制造和大数据-智能制造和大数据文档介绍内容-阿里云

配置Greenplum输入组件

输入过滤适用于以下两种场景，固定的某一部分数据和参数过滤。如对于需要每天增量追加或全量覆盖获取数据的情况，可填入带有表内日期字段限制为Dataphin的系统时间参数。输出字段输出字段区域展示了已选中表的所有字段。如果不需要将...

配置Greenplum输入组件

输入过滤适用于以下两种场景，固定的某一部分数据和参数过滤。如对于需要每天增量追加或全量覆盖获取数据的情况，可填入带有表内日期字段限制为Dataphin的系统时间参数。输出字段输出字段区域展示了已选中表的所有字段。如果不需要将...

Dataphin支持的数据源

在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...

资产质量概述

资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...

配置ClickHouse输出组件

同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件在开始执行操作前，请确认您已完成ClickHouse数据源及...

资产质量概述

资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...

文档更新动态（2022年）

新增说明新建和管理标准集、新建和管理数据标准、新建和管理落标映射规则、新建和管理标准代码（码表）、新建和管理词根、新建和管理标准集目录 2022年10月25日资产安全脱敏算法、密钥管理、生产安全模式优化支持底层脱敏和仅展示脱敏...

配置ClickHouse输出组件

同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件在开始执行操作前，请确认您已完成ClickHouse数据源及...

准备工作

准备工作完成后，您需要选定适合自己的行业和场景模板，结合您当前的数据情况选择匹配的数据上报方式，在保证数据质量的前提下，进行推荐的测试与线上服务部署。名词解释行为埋点逻辑：指的是采集到符合AIRec所需规范的用户行为数据，所...

应用场景

但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶...

公告

2023年07月11日-数据处理单元拓展及数据萃取功能下架通知 2023年07月11日起，Dataphin售卖变更如下：智能研发版和基础研发版可选的数据处理单元规格拓展，支持3500、4000、4500、5000。数据萃取功能下架，不支持新购和升级，历史已购客户...

质量规则模板类型

如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...

质量规则模板类型

如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...

合规&认证

任何一方如需将数据和个人信息存储于中国境外或者向境外提供访问权限，应当按照法律规定进行数据安全影响评估后方可跨境传输数据和个人信息。除非另行书面约定，任何一方均不得处理来源于中国境外的数据。用户业务数据用户通过Dataphin...

查看基本信息

在您购买智能接入网关设备后，系统会创建一个智能接入网关实例帮您管理智能接入网关设备，您可以通过智能接入网关实例查看您智能接入网关设备的基本信息。操作步骤登录智能接入网关管理控制台。在顶部菜单栏，选择目标区域。在智能接入...

技术架构选型

本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

租户设置

通过创建多个租户，可以对不同租户分配不同的数据单元以及功能模块，并能够保证租户间数据隔离，满足不同租户的不同要求。本文为您介绍如何新建、编辑、删除以及恢复租户。权限说明仅元仓租户的超级管理员与系统管理员支持新建及管理租户...

编码规范

本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤在Dataphin首页，单击顶部菜单栏的管理中心。按照下图指引，进入编码规范页签，设置编码规范相关配置。配置项描述禁止即席查询中使用“select*”语法查询汇总...

编码规范

本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤在Dataphin首页，单击顶部菜单栏的管理中心。按照下图指引，进入编码规范页签，设置编码规范相关配置。配置项描述禁止即席查询中使用“select*”语法查询汇总...

配置DataHub输入组件

配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件已创建离线单条管道，详情请参见通过单条管道创建集成任务。操作步骤 ...

配置DataHub输入组件

配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件已创建离线单条管道，详情请参见通过单条管道创建集成任务。操作步骤 ...

配置FTP输入组件

FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件已创建FTP数据源，详情请参见创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...

配置FTP输入组件

FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件已创建FTP数据源，详情请参见创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...

配置Kafka输入组件

配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...

配置Kafka输入组件

配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...

准备数据源和计算源

在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...

准备数据源和计算源

在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...

治理项管理流程

治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...

治理项管理流程

治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...