资源规划及规格选型
计算W/N的前提是数据处理作业的 cost_cpu 很稳定，而且在这N个小时内，所有作业都随时在运行，不存在任何空闲的计算资源。但是，实际项目可能会因为某些原因导致作业运行时间延长（例如参与计算的数据量增加），相当于W会变大。同时，由于...
离线集成概述
应用场景 DMS离线集成提供的批量处理数据功能，可应用于以下场景：通过低代码可视化编辑的方式快速搭建离线数仓，支持即席查询、多维分析、数据挖掘、离线计算等数仓应用场景。解决企业复杂大数据批处理难题，支持企业精细化运营、数据营销...
工况识别-训练
平台上其他数据处理组件。按照平台规范开发的自定义组件。其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 识别方式 工况识别的方式。智能：算法将根据数据情况自动选择合适的方法进行工况类别识别；自定义：需要用户自行选择具体...
SQL概述
提交MaxCompute作业后，会存在几十秒到数分钟不等的排队调度，所以适合处理批作业，提交一次作业批量处理海量数据。不适合直接对接需要每秒处理几千至数万笔事务的前台业务系统。使用向导 如果您需要.参考文档 说明 了解MaxCompute SQL 与...
处理接口
处理下载的所有数据，Node.js提供了一个glob模块可以对文件夹下的所有数据进行批量处理。var fs=require('fs');var csv=require("fast-csv");var glob=require('glob');var mapdata=require('./站点列表经纬度映射.json');glob("./站点_...
如何优化数据全量抽取
在应用内处理数据或者批量的将查询结果返回给用户浏览时，不能依赖外部工具，必须在应用内通过代码完成数据全量抽取。本文主要介绍在应用内通过代码高效抽取数据的方法，根据是否一次性读取全量数据，分为全量抽取和分页查询。全量抽取场景...
审计日志
脚本任务 ChangeDataNode 修改数据处理任务（周期或手动任务）。DeleteDataNode 删除数据处理任务（周期或手动任务）。文件 AddFile 创建临时查询及目录。DeleteFile 删除临时查询及目录。ChangeFile 修改临时查询、重命名临时查询及目录。...
查看并管理手动运行补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，对补数据任务进行批量处理，提高操作效率。具体操作，请参见。手动运行补数据任务支持的批量操作。手动运行补数据任务列表支持的操作 操作 描述 手动运行 立即运行当前补数据任务...
查看并管理手动运行补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，对补数据任务进行批量处理，提高操作效率。具体操作，请参见 手动运行补数据任务支持的批量操作。手动运行补数据任务列表支持的操作 操作 描述 手动运行 立即运行当前补数据任务...
查看并管理定时调度补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，批量对补数据任务进行批量处理，提高操作效率。具体操作，请参见 定时调度补数据任务支持批量操作。定时调度补数据任务列表支持的操作 操作 描述 手动运行 单击 可以手动方式运行...
查看并管理定时调度补数据任务
③ 批量操作区 您可以通过批量操作区域提供的批量操作功能，批量对补数据任务进行批量处理，提高操作效率。支持的批量操作如下：开启：批量开启定时调度补数据任务的生效状态。开启后，任务按照配置的时间定时调度。关闭：批量关闭定时调度...
查看并管理已生成实例
③ 批量操作区 您可通过批量操作区域提供的批量操作功能，批量对补数据实例进行批量处理，提高操作效率。具体说明，请参见 已生成实例支持的批量操作。补数据实例状态说明 系统根据业务日期运行状态定义补数据实例的运行状态。整个补数据...
查看并管理已生成实例
③ 批量操作区 您可通过批量操作区域提供的批量操作功能，批量对补数据实例进行批量处理，提高操作效率。具体说明，请参见 已生成实例支持的批量操作。补数据实例状态说明 系统根据业务日期运行状态定义补数据实例的运行状态。整个补数据...
查看并管理已提交实例
③ 批量操作区 您可通过批量操作区域提供的批量操作功能，批量对补数据实例进行批量处理，提高操作效率。具体说明，请参见 已提交实例支持的批量操作。补数据实例状态说明 系统根据业务日期运行状态定义补数据实例的运行状态。整个补数据...
查看并管理已提交实例
③ 批量操作区 您可通过批量操作区域提供的批量操作功能，批量对补数据实例进行批量处理，提高操作效率。具体说明，请参见 已提交实例支持的批量操作。补数据实例状态说明 系统根据业务日期运行状态定义补数据实例的运行状态。整个补数据...
数据传输与迁移概述
其它自定义上传 SDK写入-批量数据通道（Tunnel）。离线数据流式写入（数据通道）场景特征。流式数据写入（7天24小时不间断写入）。对数据可见延迟容忍度高（可接受偶发小时级别数据可见延迟）。对请求延迟容忍度高（可接受偶发分钟级别请求...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
MaxCompute数据离线同步至ClickHouse
批量数据计入脏数据：如果想要保证任务运行完成并可接受批量数据丢弃，可选择将批量数据计入脏数据，通过脏数据允许条数控制任务是否退出。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名...
查看资源使用情况-全托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
租户设置
说明 如果您的租户不支持恢复，可能的原因有以下几种情况：已使用的数据处理单元数大于剩余的可分配的数据处理单元。已使用的质量规则数大于剩余的可分配的质量规则数。租户功能存在降配的情况。租户已配置的调度资源（CPU或内存）超过系统...
配置逻辑表数据延迟
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口 进入数据 开发 页面。在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。...
配置逻辑表数据延迟
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。...
- 产品推荐
- 这些文档可能帮助您