查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
数据集成
实时同步任务的下游任务 由于DataWorks仅支持为周期调度节点产出的表设置依赖，因此，当下游任务需对实时同步产出的表数据进行加工（即下游任务的上游依赖为实时同步任务），无法基于血缘关系设置依赖。您可根据工作空间业务复杂性，选择...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
只读副本变配管理
参数 参数说明 增加只读副本 每次增加新的只读副本只能在一个单独的可用区中进行，不可跨多个可用区同时创建。建议规格与原规格保持一致，后续通过租户设置完成数据同步即可正常使用。具体操作详见 租户只读副本管理-添加只读副本。删除...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
查看并管理实时实例
实时实例是实时任务提交到运维中心后生成的实例数据。Dataphin支持查看实时任务生成的实例数据，同时支持对实时实例进行运维管理，包括查看任务、查看实例代码、查看实例参数等。本文为您介绍实时实例的状态及如何运维管理实时实例。实时...
运维中心概述
运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块，为您提供任务操作与状态、引擎、资源等多方位的运维能力。运维中心功能模块 当您在DataStudio中完成节点开发，并提交...
API概览
实时处理 API 标题 API概述 实时媒体转码 实时媒体转码 CreateLiveTranscodeTemplate 创建实时媒体转码模版 调用CreateLiveTranscodeTemplate创建实时转码模板，便于提交实时转码任务。GetLiveTranscodeTemplate 获取单个实时媒体转码模版 ...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Hologres。本文为您介绍如何创建...后续步骤 任务配置完成后，您可以在 运维中心>实时任务运维>实时同步任务 面板启动并管理该任务，详情请参见：实时同步任务运维。
C SDK
Linux服务器、嵌入式Linux live 可用 主要功能和master版本一致，增加最多平台的编译支持，包括Windows、Mac、Android、IOS等 非master支持的环境 bricks 可用 极致精简版本，binary和内存占用极低，但是功能非常弱，建议在资源非常受限的...
智能媒体服务的审计事件
智能媒体服务已与操作审计服务集成，您可以在操作审计中查询用户操作智能媒体服务产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
运维中心概述
实时实例生成逻辑 当实时任务被提交或发布至 运维中心 后，您可以在 运维中心的实时任务列表 对实时任务进行启动、修改资源配置等相关操作。在Basic模式和Dev-Prod模式的Prod环境下，实时任务提交后将自动生成实时实例，自动生成的实例为未...
配置迁移演练
当前操作系统 默认显示当前操作系统，不可修改。例如：CentOS 7。目标操作系统 在下拉列表中选择目标操作系统。例如：Alibaba Cloud Linux 3。迁移演练 迁移演练是在实际迁移前，对迁移方案进行模拟和验证的过程。它可以帮助用户在实际迁移...
采集-IoT/嵌入式日志
C Producer方案与其他嵌入式采集方案对比如下：类别 C Producer 其他方案 编程 平台 移动端+嵌入式 移动端为主 上下文 支持 不支持 多日志 支持 不支持（一种日志）自定义格式 支持 不支持（提供若干个有限字段）优先级 支持 不支持 环境...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至MaxCompute。本文为您介绍如何创建...后续步骤 任务配置完成后，您可以在 运维中心>实时任务运维>实时同步任务 面板启动并管理该任务，详情请参见：实时同步任务运维。
基于Make的编译说明
其中，一般是指明嵌入式平台的软件OS提供方，如 mxchip，ubuntu，win7 等。会导致构建系统到$(IMPORT_DIR)/目录下寻找预编译库的二进制库文件和头文件。其中，一般是标明嵌入式平台的具体硬件型号，如 mtk7687，qcom4004 等，也可以写其它...
配置Ververica Flink实时模式资源
Ververica Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的集群、引擎版本以及并行度、Task Manager和Job Manager的CPU与Momory。本文为您介绍如何配置Ververica Flink流批一体任务实时模式的资源配置。操作步骤 请...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
新建BLINK_DATASTREAM任务
本文为您介绍如何基于Alibaba Blink实时引擎创建BLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Alibaba Blink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发完成...
新建BLINK_DATASTREAM任务
本文为您介绍如何基于Alibaba Blink实时引擎创建BLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Alibaba Blink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发完成...
新建FLINK_DATASTREAM任务
本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发...
新建FLINK_DATASTREAM任务
本文为您介绍如何基于Ververica Flink实时引擎创建FLINK_DATASTREAM任务。前提条件 在开始执行操作前，请确认项目已 开启实时引擎 并已 配置Ververica Flink计算源。具体操作，请参见 创建通用项目。在您开始执行操作前，请确认已上传开发...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
运维中心概述
实时实例生成逻辑 当实时任务被提交或发布至 运维中心 后，您可以在 运维中心的实时任务列表 对实时任务进行启动、修改资源配置等相关操作。在Basic模式和Dev-Prod模式的Prod环境下，实时任务提交后将自动生成实时实例，自动生成的实例为未...
配置条件分支节点
如果您需要在任务流中进行条件判断，可以添加条件分支节点，条件分支节点可实现任务流在特定条件下执行后续任务。本文介绍配置条件分支节点的方法。应用场景 执行任务流时，如果条件分支节点的条件表达式判断结果为True，执行后续任务，...
ContainerOS概述
为了适应更多的使用场景，传统的操作系统OS发行版包含大量的用户态工具、软件包、系统服务等，使得OS臃肿、启动慢，各种软件包种类繁多、版本零散，给运维人员带来了极大的挑战。为了解决传统OS在云原生场景下的各种适配问题，给容器服务的...
全增量实时同步至Hologres
说明 此处定义的报警规则，将对该任务产生的实时同步子任务生效，您可在任务配置完成后，进入 实时同步任务 界面查看并修改该实时同步子任务的监控报警规则。管理报警规则。对于已创建的报警规则，您可以通过报警开关控制报警规则是否开启...
新功能发布记录
2023-08-11 创建操作系统迁移任务 操作系统迁移（Linux）2023年07月 功能名称 功能描述 发布时间 相关文档 操作视频 新增服务器迁移、操作系统迁移和跨可用区迁移视频，指导用户快速完成迁移操作。2023-07-06 服务器迁移 操作系统迁移 ...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
任务管理
登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务管理 页面，选择目标命名空间，单击 创建任务。在 基本配置 配置向导页，配置调度任务的相关信息，然后单击 下一步。基本配置参数说明如下：配置名称...
查看监控信息
不可用：实例接入节点不可用数。计算节点组健康状态 计算节点组即 AnalyticDB for MySQL 的计算引擎，具备分布式MPP和DAG融合执行能力，结合智能优化器，可支持高并发和复杂SQL混合负载。同时借助云原生基础设施，计算节点实现了弹性调度，...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
手动更换可用区
若选择在 可维护窗口生效，您还可以在 计划任务 页查看该计划任务的具体信息或取消该任务，详情请参见 查看或取消计划任务。单击 确定 即可。更换备可用区 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群...
通用参考：切换资源组
您可先 冻结当天已生成的周期实例，修改资源组后针对目标任务执行 补数据 操作，系统会根据该任务最新配置生成补数据实例。方案二：替换当天未来时间段的实例。您可修改任务执行资源组后选择 发布后即时生成实例，系统会根据该任务最新配置...
固件
功能特点 FSS支持Linux、Android两大类固件，支持嵌入式Linux系统固件（如Yocto、OpenWrt、uClinux）和Android系统固件。FSS能识别CVE漏洞、配置风险、密钥安全、敏感信息泄露、代码安全5大类风险。如下表所示：分类 风险名称 CVE漏洞 开源...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
实时同步数据库的数据至Hologres
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
项目角色管理
查看节点代码/查看运行日志/查看运行诊断 周期实例-逻辑表任务独有-查看物化代码 运维操作 周期任务/手动任务/实时任务-补数据 周期任务/手动任务/实时任务-修改负责人 周期任务/手动任务/实时任务-暂停/恢复 周期任务/手动任务/实时任务-...
- 产品推荐
- 这些文档可能帮助您