环境说明
名称 操作系统 架构 Go 1.x Linux x86_64 重要 Go 运行时目前使用Linux操作系统，暂不支持ARM64架构。Go SDK与工具 函数计算 提供以下Go SDK与工具：FC SDK for Go：Go运行时编程模型的具体实现，函数计算 平台依赖该包运行您的请求处理...
运行时如何获取流水线信息?
解决方案 以下变量可以直接在运行时使用：EMAS_PIPELINE_NAME:当前运行的流水线名称 EMAS_PIPELINE_INSTANCE_ID:当前运行的流水线实例id EMAS_PIPELINE_TIMESTAMP:当前运行流水线开始时间戳(10位 unix时间戳)EMAS_RUNNER_WORK_DIR:容器内...
作业运行常见问题
作业运行时长不达预期（作业运行慢），通常由什么原因导致，如何解决？导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体...
实例自定义数据
说明 如果更换操作系统使用的是自定义镜像且来源于原实例，或实例的系统盘来源于原实例，则更换操作系统、重新初始化系统盘时，系统会判断实例不是初次启动，因此脚本不会自行执行。Cloud Config数据 重要 Cloud Config是通过用户数据完成...
最佳实践：搭建自定义运维大屏
非实时任务的一周调度任务数量趋势、任务完成情况、近一个月运行时长排行、近一个月任务出错排行、昨日任务类型分布、昨日运行状态分布等能力。完成本实践后搭建的运维大屏如下所示。在进行本实践之前，建议您先参考以下链接，了解...
手动运行标签
若您的标签更新方式为手动更新，您可手动选择所需运行的版本并运行标签。本文将指导您如何手动运行标签。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签。进入Dataphin 标签 页面后，默认进入 ...说明 手动运行时计算的是最新分区的数据。
为容器节点添加数据盘
容器节点下载镜像的操作，例如运行容器运行时、存储容器的临时存储、记录容器的stdout日志等，会占用大量系统盘资源。影响节点运行的稳定性。您可以使用数据盘作为Kubelet和容器运行时的根目录，从而节省系统盘的资源，提升节点运行的稳定...
实时计算任务运行与管理
运行时长：任务的运行时长，单位为秒。任务类型：任务的类型。说明 DataWorks当前仅支持对EMR Spark Streaming及EMR Streaming SQL类型的节点提交的任务进行运维。引擎类型：任务所使用的引擎类型。DataWorks当前仅支持对E-MapReduce引擎的...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
策略创建
当有事件数据请求时，决策引擎系统会根据您设定的策略进行运算，当策略命中时，系统会输出运行该策略产生的结果。使用场景：在需要进行复杂的逻辑规则判断的情况下，可以通过配置一套组合判断的策略实现。例如，某信用贷款核贷场景中，要对...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
计算节点配置说明
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
运行时支持列表
版本 操作系统 架构 Node.js 16 Linux（Debian 10）x86_64 Node.js 14 Linux（Debian 10）x86_64 Node.js 12 Linux（Debian 9）x86_64 Node.js 8 Linux（Debian 9）x86_64 运行时终止策略 云函数运行时版本终止支持时间安排如下，请您及时...
计算节点配置说明
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
本地运行
本地运行时：客户端会从MaxCompute中下载本地调试所需要的输入表的元信息、数据，所需要的资源以及输出表的元信息，并将这些信息保存到一个名为 warehouse 的本地目录中。本地运行结束后：程序运行结束后，会将计算结果输出到 warehouse ...
价格说明
收费项2：实施交付或高阶能力部署 若需要阿里侧工程师进行系统搭建、算法定制等服务，可通过商务洽谈的方式进行合作。合作项目完成，需支付一定的定制人天的投入费用。若需要搭建实时特征与实时训练链路，可由阿里侧工程师进行指导与协助...
互联网金融
互联网金融方案 适合初创互联网金融公司快速搭建平台，满足在开业筹备期间快速完成各类监管验收所需系统搭建和业务功能。业务架构 架构说明：初创互金公司关键系统是风控系统和网申系统，阿里云上有大量的部署参考案例。通过合理的网络和...
智能监控概述
自动运维 您可以根据业务需求，对独享资源组创建运维规则并关联已创建的监控规则，当关联的监控规则被触发时，系统将对运行在目标独享资源组上且满足 过滤条件 的任务自动执行运维动作，以达到自动运维的目的。说明 目前只支持关联调度资源...
管理任务
恢复周期调度 仅当设置 运行类型 为 周期运行 时，才支持 恢复周期调度。下线任务 仅当 发布状态 为 已发布 时，才支持 下线。协同授权 仅当前资源在 协同状态 下，且当前用户为 开发者 时，权限管理员支持授予本空间的开发者编辑资源的...
任务调试流程
说明 新建节点首次运行时会出现配置弹框，您需在弹框中手动为代码中的变量赋值常量。首次赋值会被DataWorks记录，下次执行运行操作时默认使用该配置。当您需要频繁调试代码时，可选择此功能。带参运行（图标）每次运行都需为测试场景下的...
流水线的运行
若在后一阶段运行时，前一阶段完成了多次运行，则在后一阶段出现空闲时，接续前一阶段的最近一次运行版本运行。举个例子：假定运行日常环境测试阶段需要一个小时，而运行持续集成阶段需要五分钟。在某个小时内，有三次代码提交，触发了持续...
将节点容器运行时从Docker迁移到containerd
Kubernetes v1.24将不再支持将Docker作为内置容器运行时，为了将ACK升级到Kubernetes v1.24及更高版本，您需要将节点容器运行时从Docker迁移到containerd。本文介绍如何在ACK管理控制台将节点容器运行时从Docker迁移到containerd。前提条件...
ACS:ECS:ApplyAnsiblePlayBook
则验证Ansible及其依赖项是否已安装在目标实例上 Boolean 否 True workingDir 执行playbook的目录 String 否/root/ansible-workspace check 使用check参数检查Ansible的执行 Boolean 否 True extraVariables 附带变量在运行时传递给Ansible...
智能诊断
如果当前任务该检查未通过，则表示当前任务运行时所使用的调度资源不足，任务将进入等待资源状态，直到占用该调度资源的任务执行结束，释放资源后，才会启动当前任务的运行。您可以根据资源使用趋势，合理安排任务的定时时间，以错峰运行。...
基本概念
恢复 和 重跑 都是基于任务流实例运行时使用的任务流版本进行操作的。节点实例的状态如下：运行中（RUNNING）暂停（SUSPEND）失败（FAIL）成功（SUCCESS）终止中（KILLING）跳过（SKIPPED）取消（CANCELLED）排队中（QUEUED）任务流 任务流...
执行测试并查看测试实例
等待资源耗时：当任务出现长时间等待资源的情况，您可以使用 智能诊断 功能定位当前任务运行时，哪些任务在占用资源，快速找到异常任务进行排查。运行时长过长：当任务运行时间与历史运行情况相比明显变长，您可参考以下场景进行处理。非...
全增量同步任务运维
说明 重置实时同步任务位点并启动运行时，会存在一个新增表追加变更数据的过程，即任务位点时间重置到新增表全量数据初始化时的时间。例如，您的同步任务8点开始运行，到9点时运行未结束。9点时新增了一张表，则全量数据初始化在9点开始...
运行选项
命中规则：平台根据计算作业输入参数值、运行时属性值（如cpu，memory，docker，software等）、执行命令行等共同计算出一个哈希值。如果与平台历史的计算作业记录的哈希值一致，且该作业记录在 有效保留时间 内，则被认为是命中 Call-...
查看运维大屏
说明 变慢时长：即昨日该实例运行时长相比历史平均运行时长变慢多少，并按照差值降序排序。周期实例近一个月出错排行榜 统计最近一个月的周期实例出错排行，目前仅展示Top30的任务。您可快速定位近一个月出错率较高的任务，查看任务详情并...
发现和排查实例问题
及时处理系统事件 系统在执行某些运维动作或检测到某些异常，判断会影响实例正常运行时，会自动发送系统事件。系统事件中会同时提供应对措施、事件周期等信息，建议您及时处理系统事件，避免实例重启、停止等问题影响您的业务。更多信息，...
查看周期实例
等待资源耗时：当任务出现长时间等待资源的情况，您可以使用 运行诊断 功能定位当前任务运行时，哪些任务在占用资源，快速找到异常任务进行排查。运行时长过长：当任务运行时间与历史运行情况相比明显变长，您可参考以下场景进行处理。非...
引擎运维
您可以对 开始时间 或 结束时间，进行升序或降序排列，直观地查看作业的运行先后顺序及运行时长，了解目标作业的运行情况。终止运行DataWorks实例任务。如果E-MapReduce作业长期处于运行状态，即作业状态显示为 RUNNING，则您可以勾选目标...
任务未运行
问题现象 在周期实例运行时，实例定时时间和实例开始运行时间有时并不完全一致，或任务到了定时时间还没运行。问题排查 您可以先通过 上游分析 功能定位阻塞当前任务运行的关键实例，再通过 智能诊断 分析当前任务阻塞原因，快速定位问题。...
配置依赖上一周期（跨周期依赖）
实际运行时，Shell_Node1被置为空跑，Shell_Node2正常运行。Shell_Node1节点设置了依赖自身的上一周期。本周期（T）Shell_Node1节点生成的周期实例名称为 Shell_Node1'。上一周期（T-1）Shell_Node1节点生成的周期实例名称为 Shell_Node1。...
附录：DAG图功能介绍
等待资源耗时：当任务出现长时间等待资源的情况，您可以使用 运行诊断 功能定位当前任务运行时，哪些任务在占用资源，快速找到异常任务进行排查。运行时长过长：当任务运行时间与历史运行情况相比明显变长，您可参考以下场景进行处理。非...
任务运行失败
当任务的运行时长超过超时时间，任务自动终止运行。由于超时导致运行失败的任务不会触发任务重跑。解决方案：当任务运行出现超时失败时，失败重跑机制不生效，您需要手动重启相关任务。任务执行报错OSError:[Errno 7]Argument list too ...
查看异常统计
离线实例异常统计 离线实例异常统计包括运行状态统计和运行时长统计排行，同时系统为您呈现运行超时异常报警排行。离线实例排行 编号 描述 ① 运行状态与时长统计 您可以选择查看运行状态和运行时长统计数据：运行状态统计。运行状态统计...
查看异常统计
离线实例异常统计 离线实例异常统计包括运行状态统计和运行时长统计排行，同时系统为您呈现运行超时异常报警排行。离线实例排行 编号 描述 ① 运行状态与时长统计 您可以选择查看运行状态和运行时长统计数据：运行状态统计。运行状态统计...
容器主动防御
容器主动防御功能从镜像自身安全、运行时安全、运行环境安全多维度主动检测容器启动或运行时存在的安全风险。通过配置相应规则，您可以拦截风险镜像运行、停止不可信进程和阻断容器逃逸行为，提升整体容器运行环境的安全水位。本文介绍如何...
计算成本优化
计算公式为：满足CU=已占用资源CU*评估时间点前的运行时长 第一批作业：1000CU时 第二批作业：750CU时 未满足CU 用于定义在评估时间点前提交的作业，在评估时间点后消耗的资源（CU时）。未满足CU=已占用资源CU*评估时间点后的运行时长 第一...
- 产品推荐
- 这些文档可能帮助您