产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
AGS概览
ACK One分布式工作流Argo集群，是面向批处理、数据处理、科学计算、持续集成等业务场景，提供托管开源Argo的工作流集群，可以实现大规模工作流编排与高效弹性运行，并优化运行成本。WDL工作流 WDL（Workflow Description Language）是由...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
迁移Batch批量计算到分布式工作流Argo集群
通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用容器运行，可以在短时间内轻松运行大规模机器学习、仿真计算和数据处理等计算密集型作业，也可以快速运行CI/CD流水线任务。将离线任务和批量计算任务迁移到 工作流集群 可以帮助...
EMR Workbench
通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作流。功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
常见问题
云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流 是一个用来协调多个分布式...
普通集成
允许 云工作流 通过调用弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的多个阿里云服务的接口实现业务流程编排。本文介绍普通集成的操作步骤和支持普通集成的阿里云服务列表。操作步骤 本文以集成 云服务器...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
功能特性
Serverless 工作流 功能集 功能 功能描述 参考文档 基础功能建设 流程（Flow）云工作...允许云工作流通过调用弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的多个阿里云服务的接口实现业务流程编排。普通集成
基因计算工作流
本文介绍基因计算工作流的场景描述、解决问题、架构图及操作参考链接。场景描述 本文适合利用容器服务Kubernetes版上的工作流引擎进行大规模基因测序的场景。阿里云工作流引擎基于开源项目Argo实现，支持并发、循环、重试等多种执行策略...
常见问题
可能原因：您的RDS数据库与流计算项目不在同一区域。解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见 数据存储白名单配置。源表数据无法同步到目标表中。可能原因：源表的数据类型与目标表不一致，在进行类型转换时...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
创建并使用PAI Designer
若您想了解如何创建 自定义工作流 进行数据可视化建模，您可以参考 创建自定义工作流案例，了解自定义工作流的创建过程。开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${...
名词解释
本文将向您介绍城市视觉智能引擎产品中涉及的几个名词解释，以便于您更好地理解城市视觉智能引擎产品。实例（Instance）实例整合了数据接入、视频分析、...视频流（Stream）视频点位输出到计算工作组的视频数据，一个视频点位对应一个视频流。
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
流管理
由接流服务接入的视频点位输出视频流数据给计算服务分析，流管理支持添加或移除计算工作组（任务）处理的视频流。前提条件 添加或删除视频流前，需已创建并启动计算任务。参考 任务管理。接流工作组中存在接流状态为在线的视频点位。添加...
Spark概述
架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据分析、流计算、机器学习和图计算等场景，详情请参见 Apache Spark官网。...
附录：预设角色权限列表（空间级）
不同预设角色对DataWorks各空间级功能的操作权限详情请参见下文的：数据管理 发布管理 按钮控制 代码开发 函数开发 节点类型控制 资源管理 工作流开发 数据集成 数据建模 数据分析 此外，空间级预设角色对MaxCompute引擎数据也具有一定的...
教程概述
本案例的整体步骤如下：准备工作：完成阿里云RDS实例和流计算项目的创建。数据采集：通过阿里云DTS的数据同步功能，将RDS中的数据同步到DataHub中，完成数据采集。数据订阅：通过阿里云实时计算Flink，订阅DataHub数据进行实时计算，插入到...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
如何对JSON类型进行高效分析
IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
计算设置概述
Fusioninsight Flink Fusioninsight Flink 是一种基于Apache Flink的流式处理引擎，可以实现高速数据流的实时计算和分析。Blink独享版 Blink是阿里云实时计算引擎。重要 该版本在公共云已停售，请谨慎选择。计算设置入口 在Dataphin首页，...
API概览
删除数据开发项目 调用 DeleteFlowProject接口，删除数据开发项目 查询工作流信息 调用DescribeFlow接口，查询工作流信息。查询作业信息 调用DescribeFlowJob接口，查询作业信息。查询项目详情 调用 DescribeFlowProject 接口，查询项目...
什么是视图计算
工作原理 摄像头、平台、智能设备采集监控流，通过RTMP协议推流或者GB/T28181国标协议拉流。如果是国标协议需先进行 国标设备注册。在云端进行监控流的录制存储、截图，生成点播回看视频和截图文件，便于随时查看历史视频和截图内容。云...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的...
管理工作流
运行工作流 每运行一次工作流，在工作流详情页面的 工作流实例列表与详情 页签都会产生一个工作流实例。手动触发 单击目标工作流 操作 列下的 触发运行，每单击触发一次工作流即运行一次。周期调度 需要将目标工作流的 调度状态 开启，才能...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
功能简介
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发和运行调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化水平...
数据开发
数据开发为用户提供一站式计算节点开发能力，通过对数据加工流程的开发、部署、调试等环节的一体化管理，数据开发实现数据加工工作流编排、加工逻辑的复用，大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构，提高系统的工程化...
EMR旧版数据开发迁移公告
迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件，通过EMR Workflow的导入功能，您可以快速导入工作流和任务，实现快速的迁移，从而节省大量的迁移...
工作流调度固定版本或预留资源函数
本文介绍了工作流调度固定版本或预留资源函数和 Serverless 工作流 实现的具体步骤。简介 在实际生产场景中，任务流所调度的函数因为业务场景变化可能需要频繁变更，您会考虑到如何避免变更带来的非预期行为，控制变更稳定性。在 ...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
流表
流表可以被看作为事件的集合，随着时间的推移，事件不断被添加到表中，因此该集合是无边界的。流表支持设置数据过期时间，默认为7天。流表中的时间属性：表示在某一时间、某个地点、某人发生了某一事件。时间属性包含了摄取时间、事件时间...
访问数据库
函数计算访问数据库工作流程如下图所示。客户端向函数计算发出请求。函数计算根据已配置的网络设置，访问指定VPC内的数据库。如需通过函数计算控制台配置网络，具体步骤，请参见 配置网络。您也可以使用本文中的示例方法，通过Serverless ...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
- 产品推荐
- 这些文档可能帮助您