添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
数据处理概述
OSS通过自主研发和集成智能媒体服务（IMM），为您提供面向图片、文档、媒体、文件等资源20余项专业的数据处理能力。OSS支持的分析处理功能如下：功能模块 说明 相关文档 图片处理 图片处理包括图片缩放、自定义裁剪、图片样式等。图片处理...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
服务地域
地域开通情况 重要 媒体处理默认同一账号不同地域数据不互通，使用前请确认您在媒体处理控制台左上角选择的地域与您OSS存储媒体文件的地域一致，否则将无法正常使用媒体处理服务。公共云 服务地域（Region）地域ID 公网接入地址 VPC接入...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
配置学区地图区域热力层交互
{"id":xxx,"name":"xxx小学","distance":"","public_or_private":"","is_primary":1,"is_middle":0,"is_nursery":0,"is_high":0,"location":"","address":"","logo":""} 使用同样的方式，配置其他四个 串行数据处理 节点，示例代码如下。...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
数据传输独享资源费用（包年包月）
数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，保障了数据传输资源的独享性，并提高了数据传输的稳定性。本文为您介绍MaxCompute的数据传输服务（包年包月）资源组的计费规则。背景信息 ...
计费案例
希望通过阿里云媒体处理服务把录制的教学视频转换成适合在PC、TV以及移动终端上播放的格式。预计每月新增视频100个，课程视频的时长集中在30~50分钟，需要对视频文件进行普通转码。为了保障各端的观看效果，计划为用户提供标清480P和高清...
Oracle同步至Tablestore
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
购买与使用独享数据传输服务资源组
当您在MaxCompute中需要对大规模数据进行传输且对传输稳定性和延迟有要求时，您可以使用独享数据传输服务资源组。独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
前言
媒体处理的Java SDK基于阿里云Java SDK。本文介绍阿里云Java SDK的基本知识。阿里云Java SDK快速入门 阿里云Java SDK使用手册 阿里云Java SDK GitHub仓库 了解基本知识后，您可以进行媒体处理Java SDK的安装。详情参见 媒体处理>SDK参考>...
前言
媒体处理的Python SDK基于阿里云Python SDK，本文介绍阿里云Python SDK的一些基本知识。阿里云Python SDK快速入门 阿里云Python SDK使用手册 阿里云Python SDK GitHub仓库 了解基本知识后，您可以进行媒体处理Python SDK的安装。详情参见 ...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
配置逻辑表数据延迟
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。...
计费概述
计费组成 智能媒体管理费用由 请求费用、数据处理费用 和 索引存储费用 三部分组成。请求费用 请求费用按照调用API的请求次数计费。说明 请求计费的API列表参见 计费项 中计费项 StandardQueryL0、StandardQueryL1 和 StandardQueryL2 所...
应用场景
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
用量查询
如果您需要查询媒体处理服务的资源使用量，可以通过媒体处理控制台查询。控制台支持转码、截图、智能审核、视频DNA等多种任务的数据统计，只需在控制台中选定时间段，即可直观查看各项功能的具体用量数据，同时支持导出详细数据，便于...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
DataFrame概述
PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口，用Pandas进行计算。...您可以参见 Python数据处理库pandas入门教程 了解Python数据处理库Pandas的更多信息。
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
计费概述
本文介绍媒体处理的计费组成、计费方式、计费周期，以及媒体处理关联产品费用。计费项 媒体处理详细计费分为 音视频转码费用、音视频增强费用 和 视频AI费用，计费组成如下图，详细说明请参见 计费项。计费方式 媒体处理产品提供两种计费...
SDK 文档简介
本文档介绍媒体处理的SDK安装、使用、示例代码等。媒体处理SDK基于阿里云SDK，关于阿里云SDK的更多详细帮助请参考：阿里云SDK平台 阿里云API平台
导入数据接口和请求数据接口区别
接口区别示意图 接口区别详细介绍 请求数据接口：重新请求服务端数据，上游 数据处理 节点或 图层节点 抛出的数据将作为参数。例如数字翻牌器配置了API数据源为 https://api.test ，传到请求数据接口动作的数据为 { id:"1"}，则最终请求...
告警事件
数据服务 包含 去数据服务监控规则。处理告警事件 单击目标告警事件 操作 列下的 图标。您也可以单击某个 对象名称。在该告警事件的 告警事件详情 页面，单击 去处理。在该告警事件所在模块，根据 告警原因 处理告警事件。设置告警事件的...
功能发布记录（2023年）
2023.06.01 所有地域 所有DataWorks用户 行业模型模板 Kafka数据源实时同步Hologres并进行ETL Kafka数据源至Hologres的实时同步可以实现同步过程中对于Kafka的JSON含义解析，以及其他基本的数据处理，实现实时同步的ETL流程。支持指定JSON...
告警事件
数据服务 包含 去数据服务监控规则。处理告警事件 单击目标告警事件 操作 列下的 图标。您也可以单击某个 对象名称。在该告警事件的 告警事件详情 页面，单击 去处理。在该告警事件所在模块，根据 告警原因 处理告警事件。设置告警事件的...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
- 产品推荐
- 这些文档可能帮助您