新建存储过程
概述 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存...
（邀测）MaxCompute Notebook使用说明
MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的...
Llama3-8B大模型微调训练
基于超过15万亿tokens的训练，相当于Llama2数据集的7倍之多。该模型不仅支持8K长文本，还配备了经过改进的Tokenizer，其词汇量高达128K token，确保在处理复杂语境和专业术语时实现更精准高效的性能表现。Llama3提供8B和70B两个版本以满足...
自定义RAM Policy策略
应用示例：自定义角色，授予角色修改工作空间权限 脚本编辑的权限策略代码如下。{"Statement":[{"Action":"dataworks:ModifyWorkspace","Effect":"Allow","Resource":"acs:dataworks:$regionid:$accountid:workspace/$workspaceName"}],...
进阶学习资料
如果想要一个轻松的方式来再次测试储藏的改动，可以运行 git stash branch 创建一个新分支，检出暂存工作时所在的提交，重新在那应用工作，然后在应用成功后扔掉：$git stash branch testchanges Switched to a new branch"testchanges"#On...
数据准备与预处理
step1：进入工作流页面 登录 PAI控制台，在左侧导航栏单击 工作空间列表，再单击待操作的工作空间名称，进入对应工作空间内。在工作空间页面的左侧导航栏选择 模型开发与训练>可视化建模（Designer），进入Designer页面。在工作流列表页面...
PyAlink脚本
在左侧组件列表的搜索框中，搜索 PyAlink脚本，并将 PyAlink脚本 拖入右侧画布中，画布中自动生成一个名称为 PyAlink脚本-1 的工作流节点。在画布中选中 PyAlink脚本-1 节点，在右侧 参数设置 和 执行调优 页签配置相关参数。在 参数设置 ...
配置MaxCompute Studio
Job Name：作业名称 use script file name as default：默认使用脚本的名称作为工作名称。input job name when first submit：第一次提交时输入作业名称。input job name for every submit：每一次提交时输入作业名称。编译器选项 此处设置...
使用DataWorks数据集成从MySQL导入数据到GDB
操作步骤 配置同步任务脚本 单击目标DataWorks工作空间所在行 操作 列的 进入数据开发。创建离线同步节点，具体请参见 离线同步节点。在 选择数据源 向导下，执行以下操作。在 数据来源 区域，选择 数据源类型 为 MySQL，数据源 为已配置...
导出全量数据到OSS
宽表模型：导出 表格存储 数据表中的数据到OSS时支持使用向导模式或者脚本模式。时序模型：导出 表格存储 时序表中的数据到OSS时只支持使用脚本模式。准备工作 已开通 OSS 服务并创建存储空间Bucket。具体操作，请参见 开通OSS服务 和 通过...
2022年
06-15 华东1（杭州）用户增长插件（2.0)2022-4 功能名称 功能描述 发布时间 发布地域 相关文档 新增Flink全托管资源 您可以购买Flink全托管资源，并关联到工作空间，在 Designer 中通过可视化拖拉拽的方式或PyAlink脚本的方式构建AI工作流...
Python脚本
Designer 提供自定义Python脚本的功能，您可以使用Python脚本组件自定义安装依赖包及运行自定义的Python函数。本文为您介绍Python脚本组件的配置方法及使用示例。背景信息 Python脚本 组件位于 Designer 组件的 自定义算法组件 文件夹下。...
提交作业
作业是E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。本文介绍如何使用E-HPC客户端提交作业。准备工作 提交作业前，您需要准备好作业文件，并上传到E-HPC集群中。E-HPC客户端支持以下两种方式上传作业文件：通过...
使用Apache Airflow调度MaxCompute
步骤一：在Apache Airflow家目录编写调度Python脚本 编写作业调度Python脚本并保存为.py文件，脚本文件中会呈现完整的调度逻辑及对应的调度作业名称。假设Python脚本名称为Airiflow_MC.py，脚本内容示例如下：#-*-coding:UTF-8-*-import ...
Flink全托管资源管理
PAI 新增了Flink全托管资源，您可以购买Flink全托管资源，并关联到工作空间，用于PAI大规模分布式模型训练。本文为您介绍如何开通购买Flink全托管资源以及如何使用该资源进行模型训练。Flink全托管资源 阿里云实时计算Flink版是阿里云基于...
快速入门
本文为您介绍如何通过阿里云E-MapReduce（简称EMR）控制台，快速创建EMR Studio集群并开展交互式开发和工作流调度工作。背景信息 如果您想了解更多Zeppelin、Jupyter和Airflow的信息，请参见以下内容：Zeppelin概述 管理JupyterHub 定期...
配置源节点
创建数据解析任务后，您可在数据解析工作台，配置数据解析任务的源节点，以作为后续数据解析的数据源。本文介绍配置源节点的操作步骤。前提条件 已创建数据解析任务，具体操作，请参见 创建数据解析任务。背景信息 数据解析功能说明，请...
ECS环境自动安装探针
如果重启后页面状态显示 目标Java进程未找到，需要确认重启时是否变更了命令和脚本执行目录，导致进程的工作目录发生了变化，可以通过以下命令进行确认：找到对应的Java进程并获取进程PID。ps-ef|grep java 执行以下命令查看进程目录。ls-...
应用场景
云工作流（CloudFlow）用于协调分布式应用和微服务以构建复杂多步骤的、异步调用任务以及长时间运行的业务流程。事务型业务流程编排 复杂的业务场景如电商网站、酒店和机票预定等应用通常要访问多个远程服务，并且对操作事务性语义（即所有...
管理工作空间
工作空间是EMR Serverless Spark管理任务、成员，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作空间管理员、数据分析、数据开发或访客角色，以实现多...
工作流快速入门
本文为您介绍如何快速体验EMR Workflow中工作流的创建和运行等操作。前提条件 已完成系统角色授权，详情请参见 EMR Workflow角色授权。已在EMR on ECS页面创建集群或集群模板，详情请参见 创建集群 或 创建集群模板。支持绑定的集群类型为...
管理治理工作台
治理工作台为您提供治理物理表、逻辑表、脚本任务和逻辑表的操作。本文为您介绍如何治理物理表、逻辑表、脚本任务和逻辑表任务。背景信息 治理工作台是面向项目管理员和开发者提供的一站式的治理功能，工作台中根据治理领域、治理对象、...
管理治理工作台
治理工作台为您提供治理物理表、逻辑表、脚本任务和逻辑表的操作。本文为您介绍如何治理物理表、逻辑表、脚本任务和逻辑表任务。背景信息 治理工作台是面向项目管理员和开发者提供的一站式的治理功能，工作台中根据治理领域、治理对象、...
SQL脚本模式
提交运行时，SQL脚本文件会被整体提交，并生成一个执行计划，保证只需排队一次、执行一次，让您能充分利用MaxCompute的资源，在提升工作效率的同时增强数据处理和分析工作流的灵活性与安全性。说明 脚本模式SQL无法使用 计量预估 完成费用...
使用云防火墙禁止下载脚本执行主机相关操作
脚本可以携带丰富的信息用于操作主机日常工作，其类型也非常丰富，有Bash Shell、Python、Perl、PowerShell等。危害 内部员工违规操作 通过远程下载带有恶意命令的脚本，可以执行预先编写的命令。黑客攻击 通过远程下载带有恶意命令的脚本...
高级功能：全局变量
全局变量可以减轻您在使用PAI平台配置组件时，重复配置参数的工作量。支持创建和删除全局变量，并通过复制功能获取全局变量的引用方式。本文介绍如何配置与使用全局变量。应用场景 工作流中多个组件使用相同的参数。详情请参见 示例1：工作...
在ALB控制台配置AScript
在监听详情页面单击 转发规则 页签，然后在 转发规则 页面创建经过验证的可编程脚本定义的转发规则，然后启用对应规则使之在生产环境生效。后续操作：可编程脚本规则生命周期管理 您可以在转发规则页面启用、禁用、编辑和删除目标可编程...
创建流程
云工作流 的每个流程由一系列任务节点组成，每个任务作为一个独立单元，代表了执行的具体操作或服务。您可以通过 云工作流 控制台创建一个流程，来描述和管理您的业务。基于空白画布创建流程 登录 云工作流控制台，然后在顶部菜单栏，选择...
2023年
2023年08月 功能名称 变更类型 功能描述 相关文档 JMeter压测支持自动补全插件 新增 上传JMeter脚本后，自动补全脚本中依赖的JMeter插件，为压测准备工作提效。JMeter插件自动补全 发布阿里云网站测速平台：cesu.pts.aliyun.com 新增 网站...
基因分析应用
图1：基因数据分析流程（来源/《中华医学遗传学杂志》）我们以工作流（Pipeline or Workflow）来指代这些分析脚本。简单的来说，它可以是一段由用户编写的、会执行多个命令的Shell或者Python脚本，能够从头到尾完成特定的基因数据分析任务...
K8s任务
若需对脚本进行更新，仅需在控制台重新编辑并保存，下次调度时新版本脚本将自动生效，显著提升开发和管理K8s Job的工作效率。同时，借助SchedulerX的K8s任务功能，完全屏蔽了容器相关的细节，对于不熟悉容器服务的研发人员而言，这项改进...
选择应用部署环境
停止实例阶段后的挂载脚本，建议在应用进程的优雅停止过程中做清理工作（比如在Java的ShutdownHook或者其他对于sigterm信号的监听流程中做清理），也可以视情况将其移动到PreStop挂钩中处理。销毁实例阶段前的挂载脚本，建议在应用进程的...
基本概念
本文为您介绍DataWorks中，工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间...
GetDataServiceApi
ScriptDetails Object 脚本API的详情，只有脚本API返回。Script String select a from t SQL脚本。IsPagedResponse Boolean true 返回是否分页。ScriptRequestParameters Array of ScriptRequestParameter 脚本API的请求参数列表。...
ListDataServicePublishedApis
IsPagedResponse Boolean true 返回是否分页 SuccessfulResultSample String {"success":true} 正常返回示例 FailedResultSample String {"success":false} 错误返回示例 Script String select a from t SQL脚本 ScriptErrorCodes Array of...
GetDataServicePublishedApi
ScriptDetails Object 脚本API详情，只有脚本API返回。IsPagedResponse Boolean true 返回是否分页。SuccessfulResultSample String {"success":true} 正常返回示例。FailedResultSample String {"success":false} 错误返回示例。Script ...
ListDataServiceApis
ScriptDetails Object 脚本API的详情，只有脚本API返回。Script String select a from t SQL脚本。IsPagedResponse Boolean true 返回是否分页。ScriptRequestParameters Array of ScriptRequestParameter 脚本API的请求参数列表。...
查询脚本
查询脚本支持Call和DDL、DQL、DML语法。您可以通过查询脚本创建管理Catalog、表、数据查询，可以使用explain语法查看执行计划定位问题，也可以实现对Paimon的管理。功能 对SQL语法进行校验，校验失败无法运行。支持脚本全部语句运行和选中...
服务端发布记录
无 工作流能力升级 新增 一个任务可被多个工作流依赖，工作流节点支持预览任务信息。无 操作审计能力升级 新增 ActionTrail支持子账号、角色级别操作审计。无 日历能力升级 新增 支持应用级别日历，以便配置整个应用下的所有任务。应用级别...
通过脚本模式生成API
数据服务支持通过脚本模式或向导模式生成API，相对于向导模式，您可以自行编写API的查询SQL，支持多表关联、复杂查询和聚合函数等功能，满足您个性化查询需求。本文为您介绍如何通过脚本模式生成API。前提条件 配置API前，请先在 工作空间...
- 产品推荐
- 这些文档可能帮助您