离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
离线同步能力说明
费用说明 数据集成同步任务运行会占用数据集成任务执行资源，DataWorks会根据您使用的资源进行收费，此外，离线同步任务通过调度系统下发至对应资源组运行时，还会产生调度相关费用。详情请参见 资源费用明细：数据集成。说明 调度费用详情...
节点伸缩概述
基于以上问题，ACK通过 节点伸缩（资源层）和 工作负载伸缩（调度层）两层弹性模型来解决。节点伸缩 基于资源的使用率来触发应用副本的变化，也就是调度单元的变化。以下介绍技术细节。如何判断节点的弹出？节点伸缩通过监听Pending状态的...
IoT数据自动化同步至云端解决方案
物联网（IoT）是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互相连通的网络。本文将为您介绍IoT数据自动化同步至云端的解决方案。背景信息 物联网（The Internet of Things，简称IoT）是指通过...
计算资源优化
基于云基础设施的操作系统优化 阿里云提供了Alibaba Cloud Linux操作系统镜像，是阿里云基于龙蜥社区（OpenAnolis）的龙蜥操作系统（Anolis OS）打造的操作系统发行版，在兼容RHEL/CentOS生态的同时，为云上应用程序提供安全、稳定、高性能...
Pipeline执行引擎
云数据库 SelectDB 版 支持基于Push模式驱动的Pipeline执行引擎。其减少了线程切换和线程阻塞所导致的执行开销，提高了CPU的利用效率，并减少了大查询对小查询的资源挤占问题。从而提高CPU在混合负载SQL上执行时的效率，提升了SQL查询的...
持续架构优化
通过云原生化改造，企业可以充分利用云的强大能力，从云原生架构中获得更高的系统可用性与可扩展能力，利用云提升发布和运维的效率以及组建成本最优的架构。云原生架构与传统架构的对比 应用容器化 软件交付的困难在于公司环境到客户环境...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
新建事实逻辑表
单击 保存并下一步 步骤四：配置事实逻辑表调度配置 在 调度&参数配置 页面，配置事实逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
新建事实逻辑表
单击 保存并下一步 步骤四：配置事实逻辑表调度配置 在 调度&参数配置 页面，配置事实逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
权限管理与规范化数据开发
开发角色可以不经过任何人审批，随时新增、修改代码并提交至调度系统，给生产环境带来不稳定因素。面向MaxCompute计算引擎时，开发角色默认拥有当前MaxCompute项目所有表的读写权限，可随意对表进行增加、删除和修改等操作，存在数据安全...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
Designer使用案例汇总
智能推荐解决方案 案例名称 描述 推荐业务端到端的完整方案 介绍实现推荐系统的完整方案。基于对象特征的推荐 介绍如何基于对象特征进行商品推荐。使用FM-Embedding实现推荐召回 介绍如何使用FM算法和Embedding提取算法，快速生成User和...
计费逻辑说明
调度费用 数据集成离线任务通过调度系统下发至对应资源组运行，会产生调度相关费用。说明 调度费用详情请参见 资源费用明细：任务调度。关于任务下发机制，详情请参见 DataWorks资源组概述。实时同步任务不收取离线调度实例费。同步解决...
开发PyODPS 2任务
with instance.open_reader(tunnel=True,limit=False)as reader:说明 若您未开启 Instance Tunnel，可能导致获取数据格式错误，解决方法请参见 Python SDK常见问题。设置运行参数 您可以通过设置 hints 参数，来设置运行时的参数，参数类型...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建数据表质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件环境等。计算资源的主要作用是执行各种计算任务，包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力...
ACK对接ECI
ECI能为Kubernetes提供基础的容器Pod运行环境，但业务间的依赖、负载均衡、弹性伸缩、定期调度等能力依然需要Kubernetes来提供。本文为您介绍阿里云容器服务Kubernetes版（简称ACK）如何与ECI对接，使用ECI作为Pod的运行资源。对接方式 ECI...
开发PyODPS 2任务
with instance.open_reader(tunnel=True,limit=False)as reader:说明 若您未开启 Instance Tunnel，可能导致获取数据格式错误，解决方法请参见 Python SDK常见问题。设置运行参数 您可以通过设置 hints 参数，来设置运行时的参数，参数类型...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
自建Kubernetes集群对接ECI
ECI能为Kubernetes提供基础的容器Pod运行环境，但业务间的依赖、负载均衡、弹性伸缩、定期调度等能力依然需要Kubernetes来提供。本文为您介绍自建Kubernetes集群如何与ECI对接，以及如何使用ECI。对接方式 ECI为Kubernetes提供一种层次化的...
故障发现
7*24监控值班 对于有条件的企业，可以设立全球运行指挥中心（Global Operations Center，简称GOC），实现7*24监控值班，时刻关注核心业务线上异常与故障。对于完成监控覆盖的核心业务场景，在异常上报时，通过工具自动检测或值班人员人工...
创建数据源质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建数据源质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、代码检查触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
新建普通维度逻辑表
步骤五：配置普通维度逻辑表调度 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明，请...
DBS沙箱功能概览
DBS基于Copy Data Management（CDM）技术，推出面向MySQL和Oracle的完整沙箱解决方案。您可以在DBS沙箱功能中快速创建DBS沙箱实例（RDS应急实例），让您的备份数据快速可用，且在沙箱中的读写不会影响到源数据库，同时还可以进行恢复演练、...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
新建普通维度逻辑表
步骤五：配置普通维度逻辑表调度 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明，请...
创建实时元表规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
创建实时元表规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
CPU拓扑感知调度
ACK基于新版的Scheduling framework实现CPU拓扑感知调度，针对CPU敏感型的工作负载提供更好的性能。本文介绍如何使用CPU拓扑感知调度。前提条件 您已创建ACK Pro版集群。具体步骤，请参见 创建ACK Pro版集群。重要 目前CPU拓扑感知调度仅...
HTTPDNS调度IP的证书
问题描述 HTTPDNS调度IP的证书 解决方案 当使用HTTPS请求调度服务时，我们会提供主机名为203.107.1.1的有效证书（无论使用哪个IP请求）。适用于 HTTPDNS
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
通过ack-co-scheduler组件实现协同调度
与原生的Kubernetes调度器相比，容器服务ACK的调度器扩展出更多其他功能，例如Gang Scheduling、CPU拓扑感知、ECI弹性调度等。本文介绍通过为注册集群安装ack-co-scheduler组件的方式，以实现在您的本地集群中使用阿里云容器服务ACK的调度...
什么是企业级分布式应用服务EDAS
企业级分布式应用服务EDAS（Enterprise Distributed Application Service）是一个应用托管和微服务管理的云原生PaaS平台，提供应用开发、部署、监控、运维等全栈式解决方案，同时支持Spring Cloud和Apache Dubbo（以下简称Dubbo）等微服务...
创建指标质量规则
业务日期/执行日期：若调度类型选择 定时调度（定时调度不支持执行日期）、数据更新触发调度、固定任务触发调度，支持配置日期，可选择 普通日历 或 自定义日历，如何自定义日历，请参见 新建公共日历。若选择 普通日历，则条件可选 月份、...
- 产品推荐
- 这些文档可能帮助您