Kafka增量数据同步至MaxCompute
注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且记录带有正确的业务时间戳。增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic...
Kafka增量数据同步至MaxCompute
注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且记录带有正确的业务时间戳。增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic...
CreateWorkflow-创建工作流
Timezone string 否 时区 GMT+8 MaxConcurrency integer 否 最大同时运行工作流实例数量，默认值为1，即上次触发没有运行结束，即使到了运行时刻也不会进行下次触发。1 返回参数 名称 类型 描述 示例值 object Schema of Response ...
信号量
信号量允许有多个使用者，所以采用计数值来表示可用的资源数，当请求一个信号量时，该计数值减1，若此时计数值大于等于0，表示当前有可用的信号量，则任务获得信号量，可以访问资源，若此时计数值为负数，则任务进入阻塞状态，释放处理器...
查询导播台视频源
PtsCallbackInterval Integer 0 点播文件的回调间隔，等于0时为不回调。MaterialId String d2c429cd907742ee8f6e76465ad3*素材ID。LocationId String RV01 视频源位置。LiveStreamUrl String rtmp:/abcLive/appName/b5447c21fcfe444c9e9b6f...
CPU积分变化示例
25h~48h B阶段：CPU使用率为10%，虽然等于基准性能，但优先消耗初始CPU积分。实例运行时，每小时消耗12个CPU积分，60个初始CPU积分消耗完毕后不会恢复。结束时，可用的CPU积分（288）=A阶段结束时可用的CPU积分（348）-消耗的初始CPU积分...
数据倾斜调优
开启SkewJoin功能，使用时如果只开启SkewJoin，实际上这样对于任务的运行并不会有任何影响，还必须设置 odps.sql.skewinfo 参数才会有效，odps.sql.skewinfo 参数作用是设置Join优化具体信息，命令语法示例如下。set odps.sql.skewjoin=...
规则管理
运行起始时间为每日0点0分，则该任务一小时共有6个任务周期，0点0分为第一个周期，则第3个周期为0点20分。该任务正常运行时，第3个周期任务会在0点22分执行完毕。此时设置触发条件为 周期未完成，且指定该任务第3个周期在0点23未完成的时候...
离线扩容分区和文件系统（Linux数据盘）
dos Disk identifier:0x9277b47b Device Boot Start End Blocks Id System/dev/vdb1 2048 41943039 20970496 83 Linux 说明 如果您的数据盘尚未分区，命令返回结果中不会出现分区信息。运行以下命令确认已有分区的文件系统类型。blkid/dev/...
分支节点
不满足分支条件时，对应的关联的节点输出上挂载的下游节点不会被选中执行，该下游节点会被置成 因为分支条件不满足而未运行 的状态。分支描述 对分支的定义进行简要说明。例如，定义${input}=1 和${input}>2 两个分支。关联到节点输出 的...
在fstab文件中配置UUID方式自动挂载数据盘
UUID=d18698d2-61ea-4992-a8a9-26ee214e*/test01 ext4 defaults 0 0 UUID=6c5b3eea-930f-477d-abc6-42aa413d*/test02 xfs defaults 0 0 结果如下所示。序号 字段 说明 ①要挂载分区的文件系统。此处建议使用UUID，可以使用 blkid 命令查询...
故障隔离
运行模式 配置故障隔离规则的运行方式，取值如下：拦截模式：故障隔离规则生效，有故障的服务器会被暂时隔离。监控模式：有故障的服务器不会被隔离，只打印日志。时间窗口大小 设置故障检测的时间，与 时间窗口内最少调用次数 配合，只有在...
配置自动伸缩
重要 如果将最小节点数修改为非0值，集群缩容时该队列会保留最小节点数量的节点，即使是空闲节点也不会被释放。请您谨慎设置最小节点数，以免导致自动缩容后队列中存在空闲节点，造成资源浪费和不必要的经济损失。主机名前缀 节点主机名的...
ListFunctions-获取函数列表信息
{"key":"{\"key\":\"value\"}"},"functionId":"2d28e0e9-9ba5-4eed-8b1a-d3d9cd24*","functionName":"demo-function","handler":"index.handler","lastModifiedTime":"2016-08-15T17:00:00.000+0000","memorySize":512,"runtime":"python3....
任务冻结与解冻
场景四：实例a运行失败则不会触发实例b的运行。实例a运行失败请参见 任务未运行 处理。为什么做了冻结操作，任务还是执行？问题现象 做了冻结操作，任务还是执行。产生原因及解决措施 平台每晚会根据周期任务，生成第二天要跑的周期实例并...
任务常见问题
如果任务执行时间比较长，上一次没运行完，下一次调度时间到了，则下一次会直接丢弃，不会运行也不会排队。如果设置任务实例并发数为2，上一次没运行完，下一次时间到了仍然可以运行一个实例，最多同时运行两个任务实例。如何设置一次性...
任务常见问题
如果任务执行时间比较长，上一次没运行完，下一次调度时间到了，则下一次会直接丢弃，不会运行也不会排队。如果设置任务实例并发数为2，上一次没运行完，下一次时间到了仍然可以运行一个实例，最多同时运行两个任务实例。如何设置一次性...
任务常见问题
如果任务执行时间比较长，上一次没运行完，下一次调度时间到了，则下一次会直接丢弃，不会运行也不会排队。如果设置任务实例并发数为2，上一次没运行完，下一次时间到了仍然可以运行一个实例，最多同时运行两个任务实例。如何设置一次性...
任务编排（公测）
例如节点A—>节点B，即节点A是节点B的上游依赖，节点B的运行依赖节点A，在满足节点B运行的其他条件外，还需要节点A完成运行，节点B才能运行。工作流版本 工作流版本指工作流每次编辑（例如添加或删除节点、变更依赖关系等）保存后会生成...
必读：复杂依赖场景调度配置原则与示例
若天任务A未运行完成，即便到了下游小时任务B的定时运行时间 00：00，该任务也不会运行。下游任务B的最早实际运行时间为 07：00。附录：复杂依赖场景汇总 不同周期任务的细分依赖场景及其运行情况如下。说明 下游任务的定时运行时间若早于...
基本概念
例如，节点A—>节点B，即节点A是节点B的上游依赖，节点B的运行依赖节点A，在满足节点B运行的其他条件外，还需要节点A完成运行，节点B才能运行。任务类型 工作流中定义的不同操作类别。支持SHELL、SPARK、HIVECLI、SQOOP、FLINK、SQL、HTTP...
通过OOS在实例内运行Ansible Playbook
批次控制 批次速率数组：把一个执行明确地分成多个批次，然后一个批次运行完，再运行下一个批次，上一个批次不全部完成的情况下，下一个批次不会开始，批次值可以是数值或者百分比，如[1,5%,10%]表示第一个批次是1，第二个批次是总量的5%，...
任务未运行
序号 状态类型 状态标识 运行流程图 1 运行成功状态 2 未运行状态 3 运行失败状态 4 正在运行状态 5 等待状态 6 暂停/冻结状态 紫色（冻结）：说明该实例被冻结了，任务将不会运行，并且阻塞下游，可以单击 展开详情>操作日志，在操作记录...
冻结或解冻任务流
使用场景 当任务流B的上游任务流A存在异常时，可以冻结下游任务流B（若有多个任务流可批量冻结），B不会继续运行，也不会丢失依赖关系。当A恢复正常后，解冻下游任务流B，B会再次运行。集群计算资源不足，需要优先保障某些任务流运行，可以...
SQL操作符
BETWEEN A AND B 值在区间内 当值大于等于A且小于等于B时返回1，否则返回0。Not BETWEEN A AND B 值不在区间内 当值大于B或者小于A时返回1，否则返回0。A LIKE B 模式匹配 字符串匹配操作。A为字符串，B为匹配模式，当A和B匹配时返回1，否...
ModifyLogRetrievalStatus
返回数据 名称 类型 示例值 描述 RequestId String D7861F61-5B61-46CE-A47C-6B19160D5EB0 本次请求的ID。示例 请求示例 http(s):/[Endpoint]/?Action=ModifyLogRetrievalStatus&Domain=...
执行补数据并查看补数据实例（新版）
注意事项 实例运行相关 当补一个区间的数据时，若启动补数据的第一天存在一个运行失败的实例，则当天的补数据实例均会被置为失败状态，第二天的实例也不会启动运行。仅当第一天的全部实例均运行成功，第二天的实例才会启动运行。小时或分钟...
Zookeeper 配置
如果您希望卸载 B 应用 2.0 版本，激活 B 应用 1.0 版本，卸载 C 应用，那么推送的指令声明为：B:1.0:Activated 从上面的操作描述看，在推送动态配置时，只需要声明期望的 Biz 状态即可，SOFAArk 会根据状态声明推断具体的执行指令，并尽...
CreateGroup-创建群组
group_id string 否 需要加入的父群组 ID，传入此字段时，创建完群组后，系统会将此群组自动加入到指定的父群组 2e43ec8427dd45f19431b7504649a1b3 返回参数 名称 类型 描述 示例值 Group 新创建的群组信息 示例 正常返回示例 JSON 格式 {...
DeleteDataSourceLog-删除日志
Count integer 删除的日志的数量，等于 1 表示成功，小于等于 0 表示失败。1 LogInstanceId string 日志 ID，由威胁分析根据具体参数计算 md5 生成。ef33097c9d1fdb0b9c7e8c7ca320pkl1 RequestId string 请求消息 ID。6276D891-*-55B2-87B9...
ECI实例生命周期介绍
否 运行失败（Failed）实例中所有容器均已运行终止，并且至少有一个容器是运行失败终止，即容器以非0状态退出或者被系统终止。否 过期（Expired）实例属于抢占式实例，因资源到期回收而被终止。否 创建失败（ScheduleFailed）实例创建失败...
ListTagResources
TestValue"}]&公共请求参数 正常返回示例 XML 格式 HTTP/1.1 200 OK Content-Type:application/xml <ListTagResourcesResponse> <NextToken>caeba0bbb2be03f84eb48b699f0a4883</NextToken> <RequestId>DE65F6B7-7566-4802-9007-96F2494A*...
ListTasks-获取任务列表
CreateCluster StartCluster StopCluster DeleteCluster AddNodes StartNodes ResetNodes StopNodes DeleteNodes B745C159-3155-4B94-95D0-4B73D4D2*Archived boolean 否 是否显示已运行的异步 API 的历史返回结果。取值范围：true：显示...
ECI Pod生命周期
Succeeded 否 运行失败（Failed）ECI Pod中所有容器均已运行终止，并且至少有一个容器是运行失败终止，即容器以非0状态退出或者被系统终止。Failed 否 过期（Expired）ECI Pod属于抢占式实例，因资源到期回收而被终止。Failed 否 创建失败...
ECI Pod生命周期
Succeeded 否 运行失败（Failed）ECI Pod中所有容器均已运行终止，并且至少有一个容器是运行失败终止，即容器以非0状态退出或者被系统终止。Failed 否 过期（Expired）ECI Pod属于抢占式实例，因资源到期回收而被终止。Failed 否 创建失败...
基本概念
空跑 当任务流A（使用任务流依赖检查节点）依赖任务流B，且不需要实际运行B时，可以使B空跑产生一个调度记录，A任务即可正常执行。指定时间运行 使用该运行方式需要您定义一个任务流变量（时间变量），并且在SQL中使用。变量会在指定的业务...
配置流水线源
如果使用 Packages 通用制品仓库管理制品文件，上传至 Packages 通用制品仓库 并不会将制品归档，因此如果想实现多流水线之间的制品传递，需要在上传完 Packages 后对制品文件进行归档操作。在流水线编辑页，点击 添加流水线源，在 添加...
管理任务流实例
空跑 当任务流A（使用任务流依赖检查节点）依赖任务流B，且不需要实际运行B时，可以使B空跑产生一个调度记录，A任务即可正常执行。指定时间运行 使用该运行方式需要您定义一个任务流变量（时间变量），并且在SQL中使用。变量会在指定的业务...
流程管理
在 流程实例记录 面板，单击 暂停，会等待正在运行的节点运行完成，但是后续节点不会运行，且工作流状态变为暂停。如下图所示：取消暂停 暂停状态的工作流支持取消暂停。在 流程管理 页面，单击 操作 列的 更多>历史记录。在 流程实例记录 ...
流程管理
在 流程实例记录 面板，单击 暂停，会等待正在运行的节点运行完成，但是后续节点不会运行，且工作流状态变为暂停。如下图所示：取消暂停 暂停状态的工作流支持取消暂停。在 流程管理 页面，单击 操作 列的 更多>历史记录。在 流程实例记录 ...
- 产品推荐
- 这些文档可能帮助您