MySQL整库离线同步到OSS
附加字段使用调度参数 支持您在附加字段中使用调度参数。单击 周期调度参数配置，新增调度参数，以添加一个 cyc_time 参数为例：单击 批量修改 中的 目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板...
OSS对象检查节点
DataWorks支持通过OSS对象检查节点检查OSS指定路径的文件是否存在，当下游任务需依赖该OSS文件时，您可使用此功能先检查文件是否存在。例如，同步OSS数据至DataWorks，需先检测出已经产生OSS数据文件，才可执行OSS同步任务。本文为您介绍...
权限管理与规范化数据开发
调度参数 调度参数是DataWorks在调度场景下支持自动根据业务时间替换为具体值的参数，节点中使用调度参数后，在调度场景下，可以实现将对应业务时间的业务数据动态写入对应的时间分区中。详情请参见 调度参数支持的格式。依赖关系 调度依赖...
自定义参数取值差异对比
重要 调度参数赋值表达式中不支持空格，您可以使用两个调度参数，然后在代码引用时使用空格进行拼接。调度参数赋值：datetime1=$[yyyymmdd-1]datetime2=$[hh24:mi:ss]说明 您需要自定义两个参数datetime1和datetime2，两个参数间使用一个...
高维向量检索（PASE）
PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PG数据库中...
高维向量检索（PASE）
PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PG数据库中...
高效向量检索（PASE）
PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PostgreSQL...
加工数据
增量数据加工：使用 调度参数，通过 分区名+动态参数 的方式，实现调度场景下，每日将增量数据写入目标表对应时间分区。数据加工过程：使用可视化方式上传资源并注册自定义函数getregion，将系统日志数据中的IP信息转换为地域信息。依赖...
创建多可用区的ECI Pod
您可以配合使用多可用区和多规格的方式来创建实例，以提高实例的创建成功率。前提条件 已在要使用的专有网络VPC下创建多个不同可用区的交换机。关于如何创建交换机，请参见 创建和管理交换机。关于ECI支持的地域和可用区信息，请参见 地域...
通过OpenAPI创建、修改、删除离线同步任务
本文为您介绍如何使用OpenAPI创建、修改、删除数据集成同步任务，同步来源端数据至去向端。前提条件 已创建Maven项目，详情请参见 创建Maven项目。已创建业务流程，详情请参见 创建周期业务流程。已创建同步任务需要的数据源，详情请参见 ...
通过OpenAPI创建、修改、删除离线同步任务
本文为您介绍如何使用OpenAPI创建、修改、删除数据集成同步任务，同步来源端数据至去向端。前提条件 已创建Maven项目，详情请参见 创建Maven项目。已创建业务流程，详情请参见 创建周期业务流程。已创建同步任务需要的数据源，详情请参见 ...
SSH服务的相关介绍
自动登录配置 生成密钥对 SSH协议V1只使用RSA算法，而SSH协议V2对RSA算法和DSA算法都支持。目前所有OpenSSH版本都应该对两种算法都支持。两种算法的密钥的生成指令和使用方法相同，本文仅以RSA算法为例进行相关说明。生成密钥对的时候，...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
什么是视觉计算服务
阿里云视觉计算服务Visual Compute Service（简称VCS）是一款弹性可伸缩的视觉智能计算服务。...算法训练：支持训练定制化算法模型，并部署使用。控制台：以GUI方式提供数据源管理、计算任务管控、运维管理、日志审计等功能。
CPU拓扑感知调度
该策略能够对计算密集性负载，有效避免进程的物理核心争用及跨片内存访问，最大化利用碎片化CPU，在不改变硬件及虚拟机资源的前提下为密集计算型负载优化可用资源，进一步提升CPU使用率。关于CPU拓扑感知调度的实现原理，请参见 Practice ...
E-HPC集群调度器插件
什么是调度器插件 E-HPC作为一款PaaS平台，集成了常用的开源调度器来提供平台级服务。当您的业务需要迁移到云上时，往往需要将云下的调度器集成至云上，但因HPC行业调度器众多，且不同调度器有多种定制版本，会出现E-HPC内置调度器无法满足...
配置集群连接
完成调度集群的注册后，还需要在指定集群中完成应用安装部署等连接配置，注册的调度集群才可正常使用。本文介绍如何配置集群...重要 为保证调度稳定性，请勿删除目标集群中已部署的应用，否则后续基于该集群创建的资源组将变为不可用状态。
修改工作流集群配置
成本优先调度：默认使用抢占式Spot ECI运行工作流，确保低成本运行工作流，同时可选择多机型和多可用区提高供给率。使用抢占式Spot ECI运行工作流，可能出现抢占式Spot库存不足，或者抢占式Spot实例被提前回收，导致工作流运行失败。...
创建实时元表规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则...
创建实时元表规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
自定义弹性资源优先级调度
nodeSelector：用 node 的 label 标识该调度单元下的节点，只对 ecs 资源生效。max（调度器为5.0版本及以上可用）：在本调度单元中最多能调度的Pod的副本数。preemptPolicy（调度器为6.1版本及以上可用）：当ResourcePolicy中存在多个 unit...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
批量上传质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表...
批量上传质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表...
创建指标质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除...
创建指标质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除...
QuerySchedruleOnDemand-查询代播实例的调度规则
查询代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
管理集群
网络管理 Service管理 Ingress管理 服务发现DNS 组件管理 管理组件 应用管理 工作负载 应用调度 配置管理 安全管理 安全 可观测性 日志管理 监控管理 调度 任务调度：任务调度概述 使用Gang scheduling 使用Capacity Scheduling 共享GPU...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
批量创建质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非...
批量创建质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非...
DataWorks On CDP/CDH使用说明
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
什么是工业大脑AICS
工业数据建模集成数据处理、统计分析、特征提取、模型训练和模型管理等多项数据智能算法开发服务，开发完成且评估通过的模型还可在控制流程编排中无缝对接使用。产品功能 云边协同能力：支持云和端一体化，在“云”上提供了海量数据处理...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
YARN调度器
如果配置了队列优先级，同一层级的队列首先将分为两组，保障组（已使用资源小于等于保障资源）与超用组（已使用资源大于保障资源），调度时优先为保障组分配资源，两组内部的所有队列再按优先级从大到小、保障资源使用比例从小到大进行排序...
- 产品推荐
- 这些文档可能帮助您