应用场景
物联网边缘计算平台的典型应用场景有：未来酒店、工业生产、风力发电效率提升等。...大数据处理：数据上传至阿里云后，使用大数据训练模型。即时反馈：算法或规则导入本地边缘节点后，实时自动调整机组参数，实现最优化生产。
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
2024年
03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作。Pandas API支持 2024-03-26 新增...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
基于GitHub公开事件数据集的离线实时一体化实践
该方案优势如下：离线链路稳定高效：支持数据小时级写入更新，可以批量处理大规模数据，进行复杂的计算和分析，降低计算成本，提高数据处理效率。实时链路成熟：支持实时写入、实时事件计算、实时分析，实时链路简化，数据秒级响应。统一...
水处理行业页面模板
组态编辑器中水处理行业模板的使用介绍。水处理行业模板是组态编辑器中专门为水处理行业设计的页面模板。该模板包含了水处理行业常用的数据展示方式和功能...同时，用户需要了解水处理行业相关的数据采集和处理技术，以便更好地应用该模板。
MaxFrame概述
处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、MaxFrame分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率。面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
iOS
第三方美颜接口调用 RTC SDK YUV 裸数据人脸识别接入接口，人脸识别接入时，需要订阅采集之后的前处理 buffer 数据，所以在 startPreview 之后需要调用 registerVideoSampleObserver 接口获取采集前处理数据并处理。brief 订阅采集视频前...
接入Go程序性能数据
您可以通过 日志服务 全栈可观测中的Golang拉取功能采集Go Pprof性能数据，以及在全栈可观测中分析及可视化展示数据。前提条件 已创建全栈可观测实例。具体操作，请参见 创建实例。使用限制 Logtail为Linux Logtail 1.7及以上版本。工作...
Android
第三方美颜接口调用 RTC SDK YUV裸数据人脸识别接入接口，人脸识别接入时，需要订阅采集之后的前处理buffer数据，所以在startPreview之后需要调用RegisterPreprocessVideoObserver接口获取采集前处理数据并处理。brief register preprocess...
配置跨库Spark SQL节点
使用限制 Spark SQL任务节点基于Spark计算引擎运行，单个任务单次处理数据时不要超过200万条，否则可能影响任务运行效率。因计算资源有限，任务运行高峰期无法保证计算时效。系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
接入Kubernetes Go程序性能数据
依托于日志采集组件多维度Kubernetes资源选择能力，采集Go程序的性能指标数据时，也支持通过环境变量、Kubernetes Labels、Namespace、Pod名称、容器名称过滤数据。更多信息，请参见 日志采集组件多维度Kubernetes资源选择能力。另外，Go...
接入Logstash
Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
自定义区域下钻层（v3.x版本）
导入自定义topojson数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。显示组件 显示组件，不需要参数。隐藏组件 隐藏...
区域热力层（v3.x版本）
动作 动作 说明 导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。请求数据接口 重新请求服务端数据，上游数据...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
区域热力层（v2.x版本）
导入地理边界geojson数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。导入热力值数据接口 按组件绘制格式处理数据后...
减灾与应急时空解决方案与案例
可在表级和操作级充分利用时空并行处理能力加快大数据计算效率。系统原生部署在云端，支持直接使用SQL实现传统GIS服务软件提供的大部分功能，还支持性能及存储空间同时线性扩展。项目价值 领域专业数据一体化融合管理和处理能力，提供存储...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
功能更新动态（2022年之前）
实时数据处理 数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成 告警中心 为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。告警中心 资产质量 为您提供全链路...
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
Logtail限制说明
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
Logtail
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
DataCollection
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
监控报警
（单位：%，每分钟采集一次数据）。1级配额CPU使用量 一级Quota的CPU总使用量。（单位：core，每分钟采集一次数据）。1级配额MEM使用率 一级Quota的内存使用量占内存总量（预留+弹性预留）的百分比。（单位：%，每分钟采集一次数据）。1级...
DescribeDataCollction-DescribeDataCollection
获取指定应用的数据采集详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v4/openapi/app-...
Windows
接收裸数据回调 void onCaptureVideoSample(AliRtcVideoSource videoSource,AliRtcVideoDataSample*videoSample){/处理本地采集视频数据 } void onRemoteVideoSample(const AliRtc:String&uid,AliRtcVideoSource videoSource,...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。网站活动跟踪 成功的网站运营需要对站点的用户行为进行分析。通过 云消息队列 Kafka 版 的发布/订阅模型，您可以实时收集网站活动数据...
- 产品推荐
- 这些文档可能帮助您