物品或用户变化率分析
一、物品或用户变化率分析 选择任务类型：物品或用户变化率分析，选择相应的物品数据表或是用户数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。分析字段：需...
名词解释
Work Flow 即工作流，Work Flow是一个DAG（有向无环图），用来做任务编排。调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建...
名词解释
Work Flow 即工作流，Work Flow是一个DAG（有向无环图），用来做任务编排。调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理具有数据状态的任务。创建...
API概览
流量调控 API 标题 API概述 ListFlowControlTaskReports 流量调控任务曝光分析 流量调控任务曝光分析。ListFlowControlTaskInvalidItems 查询失效物品清单 查询当前流量调控任务中失效物品清单，返回物品ID(ItemId)与物品类型(ItemType)。...
基础统计分析
一、基础统计分析 选择任务类型：基础统计分析，选择相应的用户数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。Tag字段：可选择需要分析到的字段（例如：city...
API概览
缓存分析 API 标题 API概述 CreateCacheAnalysisJob 创建缓存分析任务 调用CreateCacheAnalysisJob接口，创建缓存分析任务。DescribeCacheAnalysisJob 查询缓存分析任务详情 调用DescribeCacheAnalysisJob接口，查询缓存分析任务详情。...
实时Top Key统计与离线全量Key分析
您可以调用数据库自治服务DAS（Database Autonomy Service）的相关API接口来执行实时Top Key统计或离线全量Key分析任务。功能介绍 实时Top Key统计：实时展示实例中的大Key和热Key信息，同时支持查看4天内的大Key和热Key历史信息。该功能可...
GetJobInfo-获取指定Jobid任务详情
获取指定Jobid任务详情，通常用来更新任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
如何接入日志服务
查询分布式任务失败原因 SchedulerX 2.0的分布式任务用来执行批量任务，例如某个任务批次执行失败了，您想查询具体是哪个子任务失败时，可执行如下操作：新建任务代码，配置使用SchedulerX打印日志。package com.hxm.test.processor;import...
数据诊断
一、数据诊断 在数据表创建完毕后，就可进行数据诊断任务 进入数据诊断页面，在任务管理页面中点击新增诊断任务，创建数据诊断任务 数据诊断有五种诊断类型 物品或用户变化率分析、用户偏好统计周期分析、两表关联分析、基础统计分析 与 ...
用户偏好统计周期分析
一、用户偏好统计周期分析 选择任务类型：用户偏好统计周期分析，选择相应的行为数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。用户ID字段：选择能唯一区分...
任务未运行
问题排查 您可以先通过 上游分析 功能定位阻塞当前任务运行的关键实例，再通过 智能诊断 分析当前任务阻塞原因，快速定位问题。DataWorks上任务未运行通常有4种情况，通过以下示例进行分析说明。以下图示为三层依赖，实际场景可能不止三层...
创建安全联邦学习任务（任务模式）
场景描述 A有一张数据表demo_fl_alice_train_original用于记录人群属性（学历、工作经历等），标签是income；B有一张数据表demo_fl_bob_train_original用于记录...任务创建完成后，您可在模型管理中查看特征分析结果。详情请参见模型管理。
AWS迁云成本评估
操作视频 新建TCO分析任务 1.您可以在菜单依次单击 评估->TCO分析 进入产品界面，单击 新建TCO分析任务，源端云厂商 选择AWS 后，填写表单。（如需进行IDC迁云成本评估请参考 IDC迁云成本评估）2.调研方式选择 a.AK/SK：通过授权CMH一个AWS...
AWS迁云成本评估
操作视频 新建TCO分析任务 1.您可以在菜单依次单击 评估->TCO分析 进入产品界面，单击 新建TCO分析任务，源端云厂商 选择AWS 后，填写表单。2.调研方式选择 a.AK/SK：通过授权CMH一个AWS环境只读权限的账号，可以自动完成账单分析、云产品...
机器学习的审计事件
机器学习PAI已与操作审计服务...ListDebuggerJobs 在Debugger分析页面，查询分析任务的列表接口。ListEcsSpecs 查询ECS配置信息。ListEndpoints 查询数据集加速槽挂载点的信息列表。ListExperiments 查询实验列表。ListFeatures 列举特性。...
实时同步任务运维
当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心运行实时同步任务，同时，您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作。前提条件 已完成实时同步任务的创建、...
Hive数据导入
本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 湖仓版（3.0）支持新建Hive数据迁移任务，通过迁移任务将Hive元数据和数据一键迁移到OSS，或...
可视化图表概述
可视化图表可以帮助您直观、清晰地展示数据分析结果，本文为您介绍不同类型图表的适用场景，以及不同版本支持的图表类型，辅助您快速选取合适的图表进行数据呈现和展示。Quick BI提供了40余种图表样式，包含了表格类、指标类、线/面图类、...
智能媒体管理的审计事件
CreateStreamAnalyseTask 创建流分析任务。CreateVideoAbstractTask 创建视频摘要的任务。CreateVideoAnalyseTask 创建视频分析的任务。CreateVideoCompressTask 创建视频压缩存储的任务。CreateVideoModerationTask 创建视频检测任务。...
DescribeDataFlowTasks-查询数据流动任务列表
查询数据流动任务。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持查询数据流动任务。您可以在控制台文件系统详情页面查看版本信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功...
离线同步任务运维
为确保任务运行无误，当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心管理离线同步任务、监控任务运行状态、修改同步资源组和查看任务运行日志等。本文列举离线同步任务的常见运维操作。前提条件 已完成离线同步...
识别任务说明
识别任务用来扫描资产中的敏感数据，对数据进行分类分级。数据安全中心提供两种识别任务模式：系统默认任务和自定义识别任务。完成资产授权后，数据安全中心会为每一个数据库或Bucket自动创建敏感数据识别任务，即系统默认任务；您可以根据...
可视化MapReduce模型
您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。注意事项 仅专业版支持。子任务个数不能超过1000个...
创建资源
任务 在具体的应用下，任务和一段代码逻辑绑定，用来实现任务调度。任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上...
流数据分析相关问题
本章描述流数据分析及其任务相关的一些常见问题。查看任务运行状态 在远程控制台执行如下命令：/linkedge/gateway/build/bin/lectl sc show 系统返回类似如下内容，若 running 参数值为 true，则表示任务正在运行中。TOTALCOUNT 02=-01-ID:...
创建资源
任务 在具体的应用下，任务和一段代码逻辑绑定，用来实现任务调度。任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上...
基因实体表格
本文介绍基因分析平台中的实体概念，以及如何通过表格管理基因数据文件和元数据信息。基因实体表格介绍 基因数据除测序文件（如FASTQ，BAM等）外，还需要包括临床、样本、实验等相关元数据信息，这些组合在一起，才能形成生物医学多组学的...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
产品功能
再通过任务优先级，可以实现类似于yarn的任务优先级队列，超过并发数的任务在队列中等待，高优先级任务会抢占低优先级任务优先调度。很多场景下都有应用级别资源控制和任务优先级的需求。例如数据平台每天要收集报表，可能会有成千上万的...
数据库自治服务的审计事件
CreateCacheAnalysisJob 创建缓存分析任务。CreateCacheAnalysisTask 创建缓存分析任务。CreateCloudBenchTasks 创建压测任务。CreateContactListFromCms 创建联系人列表。CreateDasServiceLinkedRoleForOriginalCaller 创建服务角色。...
智能对话分析的审计事件
智能对话分析已与操作审计服务集成，您可以在操作审计中查询用户操作智能对话分析产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
CreateSubmission-创建投递
创建投递，通过创建投递可以批量创建任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
CreateRun-创建运行任务
工作空间中创建运行任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
AbortRun-终止运行任务
终止工作空间下特定的非结束状态的运行任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
DeleteRun-DeleteRun
删除工作空间下特定运行任务记录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
GetRun-GetRun
查询工作空间下特定运行任务详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
GenerateOnceTask-创建一次性执行任务
创建一次性扫描任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用...
GetDeliveryHistoryJob-查询数据回补投递任务详情
查询数据回补投递任务详情。接口说明 本文将提供一个示例，查询投递任务 ID 为 16602 的数据回补投递任务详情。返回结果显示，该任务将跟踪 trail-name 的历史事件投递到日志服务 SLS，且任务已经投递完成。调试 您可以在OpenAPI Explorer...
DescribeTaskInfo-查询任务详情
您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
- 产品推荐
- 这些文档可能帮助您