确定需求
数据需求为最近一天某个商品类目（例如厨具）在各省的销售总额、该类目销售额Top10的商品名称、各省用户购买力分布（人均消费额）等，用于营销分析。最终的业务需求是通过营销分析完成该商品类目的精准营销，提升销售总额。通过业务调研，...
Dataphin免费试用申请
说明 每个地域仅支持开通一个Dataphin实例，如果您选择的地域已经有一个Dataphin实例，不支持重复开通。若您使用云数据库，开通地域请和数据库所在地域保持一致，否则只能通过公网进行数据传输，可能产生较高数据传输费用，且传输速度可能...
元数据仓库共享模型概述
一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 您可根据当前使用的Dataphin的元仓租户计算引擎类型查看对应的共享模型数据：元数据仓库共享...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
Dataphin智能数据建设与治理服务等级协议（半托管）
版本生效日期：2024年03月26日 本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的智能数据建设与治理（简称“Dataphin”）的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于...
限流配置
背景信息 在未进行限流配置的情况下，任务是否可以运行主要受到上游依赖、定时时间以及调度资源的影响，满足上述条件即下发，但可能出现以下问题：批量补数据场景下，如果圈选的时间周期过长，会抢占调度资源，影响周期任务或即席查询等...
限流配置
背景信息 在未进行限流配置的情况下，任务是否可以运行主要受到上游依赖、定时时间以及调度资源的影响，满足上述条件即下发，但可能出现以下问题：批量补数据场景下，如果圈选的时间周期过长，会抢占调度资源，影响周期任务或即席查询等...
核心概念
活动时间，可以是一个单点时刻，也可能是一个有开始和结束的时间段。例如，电商订单是一个业务活动，业务活动由下单、支付、发货和确认收货等不可拆分的事件组成，每个事件就是一个业务活动。项目 项目是一种物理空间上的划分，便于用户在...
创建Hudi数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 存储配置 支持HDFS或OSS存储。...
创建Hudi数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 存储配置 支持HDFS或OSS存储。...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
查看及管理运维监控API
为了保障应用能够正常调用API，同时能够保护系统，数据服务支持监控API的运行情况，包括查看异常影响分析、访问趋势分析、应用调用情况、查看API运行详情、API影响分析、配置API限流和API告警。本文为您介绍如何查看API调用情况及配置API限...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
配置实时模板运行参数
Dataphin支持在实时模板中配置运行参数信息，基于当前实时模板创建的实时任务将继承所...模板参数修改后对模板任务的影响（应用新版本的模板对模板任务的影响）：相同参数的参数值不变，将会增加新的参数。单击 确定，即可完成运行参数配置。
配置HDFS输出组件
合并策略 选择输出数据的线程：合并：则所有数据会合并成一个文件，采用单线程输出，大文件输出速度会受影响。重要 合并不支持追加数据。不合并：采用多线程输出，会生成多个文件。导出压缩文件 支持是否将文件以压缩文件格式导入目标库，...
配置实时模板运行参数
Dataphin支持在实时模板中配置运行参数信息，基于当前实时模板创建的实时任务将继承所...模板参数修改后对模板任务的影响（应用新版本的模板对模板任务的影响）：相同参数的参数值不变，将会增加新的参数。单击 确定，即可完成运行参数配置。
配置字段选择转换组件
本文为您介绍如何配置字段选择转换组件。操作步骤 请参见 离线...同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。单击 确认，完成 字段选择 转换组件的属性配置。
配置字段选择转换组件
同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。单击 确认，完成 字段选择 转换组件的属性配置。后续步骤 完成转换组件的配置后，即可配置下游组件，以实现数据...
创建Impala数据源
Kerberos Kerberos是一种基于对称密钥技术的身份认证协议：Hadoop集群有Kerberos认证，则需要开启 Kerberos。Hadoop集群没有Kerberos认证，则无需开启 Kerberos。Krb5文件/KDC Server、Keytab File、Principal 开启 Kerberos 后，需要配置...
配置条件分发流程组件
本文为您介绍如何配置条件分发流程组件。操作步骤 请参见 离线...同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。单击 确认，完成 条件分发 流程组件的属性配置。
查看及管理API
版本号 请填写API的版本号，每份配置信息会有所属版本号，以便于和上个版本信息对比。64字符以内。该API下版本号唯一。单击 确认，跳转至版本新增页面，配置参数信息。单击 提交，完成新版本API的创建。您可在API列表页面对该API进行管理。...
API任务概述
Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连数据源...
配置条件分发流程组件
同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。单击 确认，完成 条件分发 流程组件的属性配置。后续步骤 完成流程组件的配置后，即可配置下游组件，以实现数据...
身份认证及访问控制
身份管理 在独立部署环境下，Dataphin支持阿里云IDaaS、OAuth2.0、SAML多种单点登录标准协议对接方式来对接客户已有的认证系统进行用户的管理和认证。在非标准协议的对接，Dataphin提供单点对接能力，使用客户的身份认证做Dataphin的管理及...
配置MongoDB输入组件
同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击>操作 列下的 图标，删除已有的字段。单击 确认，完成 MongoDB 输入组件的属性配置。后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据...
变更管控概述
功能简介 发布管控是变更管控的子功能之一，变更管控分为变更规则和变更策略两部分。创建变更规则：基于对象的基础属性抽象出元数据，结合系统内置规则或自定义代码编写的逻辑条件而组成的校验规则；规则校验不通过的对象即被纳入管控，...
变更管控概述
功能简介 发布管控是变更管控的子功能之一，变更管控分为变更规则和变更策略两部分。创建变更规则：基于对象的基础属性抽象出元数据，结合系统内置规则或自定义代码编写的逻辑条件而组成的校验规则；规则校验不通过的对象即被纳入管控，...
创建StarRocks数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL StarRocks的JDBC URL...
配置MongoDB输出组件
同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 ...
创建StarRocks数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL StarRocks的JDBC URL...
合规&认证
Dataphin智能数据建设与治理作为瓴羊开发云领域的核心产品，⾼度重视产品的合规性并积极对标国内和国际最⾼标准合规性要求。当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在...
使用限制
不建议将同一个物理数据库（配置完全相同）配为两个数据源。项目管理 项目名称 建议当配置数据源为MaxCompute类型时，项目英文名必须与MaxCompute的Project英文名一致。项目名不可以 LD_/ld_开始，以免与业务板块名冲突，导致查询功能不...
创建IBM DB2数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
基线监控概述
保障对象：一个基线可以有1个或多个保障对象，保障节点支持物理任务和逻辑表字段2种。保障产出时间：任务运行成功的最晚时间点，即任务承诺在该时间点前完成。同时您可为基线设置 预警余量，则系统依此进行计算并作为触发报警的 预警时间，...
配置MongoDB输出组件
同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的字段。快速映射 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 ...
配置MongoDB输入组件
MongoDB输入组件用于读取MongoDB数据源的数据。...同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击>操作 列下的 图标，删除已有的字段。单击 确认，完成 MongoDB 输入组件的属性配置。
实时模式变量配置
在 变量配置 区域，可以在代码编辑器中通过表达式方式新增参数、系统将自动加载代码编辑器中已有的参数。表达式格式：${变量名}。同时可以在参数列表中修改参数类型并对参数赋值。说明 变量配置列表支持批量操作，勾选或全选参数后，可以...
离线模式变量配置
在 变量配置 区域，可以在代码编辑器中通过表达式方式新增参数、系统将自动加载代码编辑器中已有的参数。表达式格式：${变量名}。同时可以在参数列表中修改参数类型并对参数赋值。说明 变量配置列表支持批量操作，勾选或全选参数后，可以...
- 产品推荐
- 这些文档可能帮助您