EventBridge事件调度
DTS调度 数据传输服务 DTS（Data Transmission Service）作为事件源通过 事件总线 与 云工作流 集成后，通过DTS调度能够触发关联工作流的执行。本文介绍如何在流控制台创建DTS调度。注意事项 作为触发源的DTS数据订阅任务必须...
导出与导入工作流
您可以将自己或他人导出的JSON格式的工作流文件导入到您的工作空间内，来创建新的工作流。原工作流中的组件及其配置会一起导入到新的工作流中。您可以在此基础上修改组件或组件配置，进行模型构建。本文为您介绍如何导出及导入工作流。前提...
入门概述
自定义工作流demo 使用自定义工作流方式创建实验时，Designer为您提供百余种算法组件，并支持接入MaxCompute表数据或OSS数据等多种数据源，提高建模效率，demo流程如下。新建自定义工作流 将原始数据上传至MaxCompute或OSS中，并配置工作流...
创建工作流：空白工作流
如果您需要创建的工作流与预置模板差别很大，您也可以创建空白工作流，在空白工作流中从零开始添加组件构建模型。本文为您介绍如何创建空白工作流。前提条件 已创建工作空间，详情请参见 创建工作空间。操作步骤 进入Designer页面。登录 ...
基于回归算法实现农业贷款发放预测
线性回归是数理统计中的回归分析方法，可以确定...工作流运行结束后，右键单击画布中的 过滤与映射，在快捷菜单，单击 查看数据>输出，即可查看可以为其发放贷款的用户。相关文档 关于算法组件更详细的内容介绍，请参见：线性回归 过滤与映射
用户流失预警风控
数据集 本工作流数据来源于真实的电信领域客户行为脱敏数据，包含用户基本信息及用户流失属性，共7043条样本数据。工作流的示例数据如下。特征数据包括如下字段。参数 描述 customerid 用户ID。gender 性别。SeniorCitizen 是否为市民，...
创建工作流：预置模板
工作流数据存储 强烈建议您配置该参数，将其配置为OSS Bucket存储路径，用于存储运行中产出的临时数据和模型。系统会在每次运行时，自动为您创建 工作流存储路径/任务ID/节点ID 的临时文件夹。这可以简化您在工作流中，为每个组件进行OSS...
什么是数据库审计
工作原理 数据库审计服务通过旁路监听模式，支持完全独立于数据库的部署。在不影响数据库日常运行效能的前提下，实现灵活的审计与监控。基于数据库操作语句进行审计，监视数据库登录、访问行为，有效地实施审计策略。数据库审计服务还具备...
发电场输出电力预测
数据集 本工作流数据采集自UCI机器学习数据集中的混合发电场数据，详情请参见 混合发电场数据集。该数据集共9568条样本数据。每条数据包括AT（温度）、V（压力）、AP（湿度）、RH（压强）及PE（输出电力）。工作流的示例数据如下。发电场...
异常指标监控
数据集 本工作流使用的数据为系统级别监控日志数据，共22544条数据，其中异常数据为9711条。工作流的示例数据如下。参数名称 参数描述 protocol_type 网络连接协议，包括 tcp、icmp 及 udp 等。service 服务协议，包括 HTTP 、finger、pop...
离线调度
工作流运行结束后，右键单击画布中的 ad_result-1，在快捷菜单，单击 查看数据>输出，即可查看预测生成的结果表。其中：prediction_result：表示每个广告ID是否被点击（1表示被点击，0表示未被点击）。prediction_score：表示对应被点击的...
使用协同过滤实现商品推荐
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。在工作流列表，选择推荐算法-商品推荐工作流，单击 进入工作流。系统根据预置的模板，自动...
LLM数据处理
工作流成功运行后，右键单击 写数据表-1 组件，在快捷菜单中选择 查看数据>输出。输出的样本为经过上述所有处理组件过滤以及处理后的样本。相关文档 在完成数据处理后，您可以使用PAI平台提供的一系列大模型组件（包括数据处理组件、训练...
RunCycleDagNodes
调用RunCycleDagNodes创建补数据工作流。补数据相关内容，详情请参见 补数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
基于对象特征的推荐
背景信息 该工作流首先对一份真实电商的4月份和5月份数据进行模型训练并生成预测模型，然后通过6月份的购物数据对该预测模型进行评估，最终选择最优的模型，并将其部署为EAS服务供业务方调用。重要 本工作流使用的数据为真实电商脱敏数据，...
图像内容风控解决方案
其中：工作流数据存储 建议配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。进入工作流，并配置组件参数。在 可视化建模（Designer）页面，单击 工作流列表 页签。选中刚才创建好的模板工作流，并单击 进入工作流。系统...
DataWorks OpenAPI概述
2级 RunCycleDagNodes 调用RunCycleDagNodes创建补数据工作流。2级 RunSmokeTest 调用RunSmokeTest创建冒烟测试工作流。2级 ListSuccessInstanceAmount 调用ListSuccessInstanceAmount，获取业务日期当天生成的周期实例任务，在业务日期的...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
元数据管理常见问题
数据集的工作流模板优先级高于项目设置的工作流模板，当数据集工作流模板为空时，则使用项目设置的工作流模板。工作流模板会对调用图片人脸检测等接口产生限制吗？工作流模板不会对用户主动使用其他API（如视频转码、图片人脸检测、图片...
需求分析
根据规范设计工作流（即业务流程）：基于数据流设计工作流：DataWorks上任务上下游关系遵循节点名与表名一一对应原则，基于数据流设计工作流。节点命名规范详情请参见：配置同周期调度依赖。新增业务流程管理设计：由于OSS同步任务（ods_...
需求分析
根据规范设计工作流（即业务流程）：基于数据流设计工作流：DataWorks上任务上下游关系遵循节点名与表名一一对应原则，基于数据流设计工作流。节点命名规范详情请参见：配置同周期调度依赖。新增业务流程管理设计：由于OSS同步任务（ods_...
创建集群模板
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
管理工作流定义
导入工作流 在 数据开发>工作流定义 页面，单击 导入。单击 上传，选择导出到本地的工作流（.json文件），单击 确定。定时工作流 在 工作流定义 页面，单击目标工作流操作列的 图标（定时）。在弹出的对话框中，选择 起止时间、定时 和 ...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
RDS实例间的数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
RDS实例间数据迁移
更多迁移功能原理，请参见 数据迁移工作原理。DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在...
预测学生考试成绩
工作流运行结束后，右键单击画布中的 混淆矩阵，在快捷菜单，单击 可视化分析。在 混淆矩阵 对话框，单击 统计信息 页签，即可查看模型预测准确率为80%以上。相关文档 关于算法组件更详细的内容介绍，请参见：逻辑回归二分类 混淆矩阵
功能简介
数据开发支持复用数据加工工作流编排、加工逻辑，大幅提升数据开发效率。统一服务 提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据...
基于外卖评论实现舆情风控
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。在工作流列表，双击 基于外卖评论的舆情风控 工作流，进入工作流。系统根据预置的模板，...
心脏病预测
本工作流基于真实的心脏病患者体测数据，为您介绍如何通过数据挖掘算法构建心脏病预测模型。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，详情请参见 管理工作空间。数据挖掘流程 数据集 本工作...
用户窃电识别
本文为您介绍如何通过 Designer 预置工作流模板，快速构建窃漏电用户的识别模型，达到自动检查用户是否窃漏电的目的，从而大幅度降低稽查工作人员的工作量、保障用户正常用电及安全用电。背景信息 传统防窃漏电主要通过定期巡检、定期校验...
创建并使用PAI Designer
若您想了解如何创建 自定义工作流 进行数据可视化建模，您可以参考 创建自定义工作流案例，了解自定义工作流的创建过程。开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${...
工作流调度简介
您可以在指定工作流中创建工作流调度，工作流调度描述了一组规则，当某个事件满足这些规则，事件源就会触发关联的工作流执行。本文介绍什么是工作流调度。什么是工作流调度 工作流调度（即触发器）是触发工作流执行的方式。在事件驱动的...
附录：预设角色权限列表（空间级）
不同预设角色对DataWorks各空间级功能的操作权限详情请参见下文的：数据管理 发布管理 按钮控制 代码开发 函数开发 节点类型控制 资源管理 工作流开发 数据集成 数据建模 数据分析 此外，空间级预设角色对MaxCompute引擎数据也具有一定的...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
- 产品推荐
- 这些文档可能帮助您