抓包分析
非中国内地地域，每个抓包任务的数据包大小不超过100 MB，超过限制时停止抓包并直接生成包文件。抓包次数限制：每个阿里云账号每自然月，限制抓包任务次数50次。抓包文件限制：每个阿里云账号，当前只能有20个抓包文件，超限后请先删除旧的...
Napatech案例
Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...
使用tcpdump抓包分析网络问题
ECI支持一键开启tcpdump功能，用于捕获和解析网络数据包，帮助您监视和分析网络流量。本文介绍如何开启tcpdump，以便在容器出现网络异常时，抓取网络报文，分析定位问题。背景信息 容器出现网络异常时，您可能需要抓取网络报文来分析定位...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
退订方式说明
关系型数据库RDS（包月）时序数据库 InfluxDB® 版 时序数据库TSDB版（包年包月）数据传输服务DTS 数据湖分析CU版（包年包月）数据库备份DBS 云数据库Redis包年包月（云盘版）云数据库KVStore版（包月）云数据库MongoDB版分片集群（包年...
MTU配置说明
IPsec-VPN连接只支持传输已经分片的数据包，不支持对数据包分片及数据包分片重组。在您使用IPsec-VPN时，IPsec协议会对数据包进行加密，加密过程会扩大数据包长度，扩大后的数据包长度可能会超过网络中设置的最大数据传输单元MTU（Maximum ...
网络抓包
云防火墙提供网络抓包工具，允许您通过特定的IP和端口捕获互联网边界的流量数据包，便于您快速分析数据包内容、诊断网络问题以及审查潜在的攻击行为，进而揭示网络通信的安全隐患。本文介绍如何有效使用该网络抓包工具。限制说明 云防火墙...
资源包介绍
智能媒体管理IMM默认按量付费，但您也可以预先购买阿里云提供的媒体数据处理资源包。媒体数据处理资源包可用于抵扣智能媒体管理IMM各计费项及对象存储OSS视频截帧及图片处理相关计费项。资源包到期或额度全部抵扣完后，如果仍有超出部分，...
计费概述
购买 媒体数据处理资源包 图片处理、图片高级压缩以及使用截帧产生的数据处理费用。购买 传输加速包 用于抵扣使用传输加速域名访问OSS产生的传输加速费用。购买 高防基础包 用于抵扣高防资源预留费用。购买 计费周期 OSS以小时为周期统计...
PostGIS
classOf[GanosSparkKryoRegistrator].getName).getOrCreate()import spark.implicits._/SparkSession加载JTS包用于处理时空数据 spark.withJTS val sc=spark.sparkContext 加载数据：/配置链接参数 val dsParams:JMap[String,String]=Map(...
PolarDB
classOf[GanosSparkKryoRegistrator].getName).getOrCreate()import spark.implicits._/SparkSession加载JTS包用于处理时空数据 spark.withJTS val sc=spark.sparkContext 加载数据：Spark format方式：/配置链接参数 val dsParams:JMap...
资源包概述
资源包是群空间下从数据源到数据门户的元数据信息，本文为您介绍如何使用资源包进行资源的快速复制、分发。适用场景 企业版本管理。同一环境下，区分A空间和B空间。每个版本由A空间导入B空间，实现版本发布和隔离管理。不同环境下，区分开A...
使用ping命令丢包或不通时的链路测试方法
可能某些数据包延迟很小（例如25 ms），而另一些延迟却很大（例如350 ms），但最终得到的平均延迟反而可能是正常的。所以此时Avg并不能很好的反应出实际的网络质量情况。综上，建议分析标准如下：如果StDev值很高，则同步观察相应节点的...
数据处理费用
按量付费：图片处理量×图片处理单价 资源包：媒体数据处理资源包 图片高级压缩 按使用高级压缩处理图片的次数计费。图片高级压缩的输出规格包含以下两种：低规格AdvImageProcLow：800×600像素以下 中规格AdvImageProcMed：1600×1200像素...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
UploadDocumentAsync-异步上传文档
250 ChunkOverlap integer 否 处理大型数据的切分策略：在分块处理时，连续的块之间重叠的数据量。最大值不能超过 ChunkSize。说明 这是为了防止数据被截断而丢失上下文信息。例如，在处理一个长文本时，您可能希望确保两个连续的文本块有...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是Databricks数据洞察
Databricks数据洞察（简称DDI）是基于Apache Spark的全托管大数据分析平台。产品内核引擎使用Databricks Runtime，并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务，您无需关心集群服务，只需专注在Spark作业的开发上...
网络最大传输单元MTU
理论上MTU越大，可在单个数据包中传递的数据越多，网络通信越高效。本文介绍巨型帧相关功能以及如何修改ECS实例网卡的MTU。巨型帧（Jumbo frames）巨型帧是指有效负载超过IEEE 802.3标准所限制的1500字节的以太网帧，增大的有效载荷百分比...
配置跨库Spark SQL节点
使用限制 Spark SQL任务节点基于Spark计算引擎运行，单个任务单次处理数据时不要超过200万条，否则可能影响任务运行效率。因计算资源有限，任务运行高峰期无法保证计算时效。系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存...
Linux实例网站访问丢包延时高的排查方法
若数据包在跳转后无法收到任何反馈，建议结合反向链路测试做进一步确认，并联系相应节点归属运营商进行处理。阿里云中国内地机房和其他国家或地区机房有网络通信的专线，为降低通信时候的丢包率，推荐使用 高速通道。若主机掉包和延迟非常...
本地SSD型
本地SSD型实例规格族i4r i4r的特点如下：配备高性能（高IOPS、大吞吐、低访问延迟）NVMe SSD本地盘 计算：处理器与内存配比为1:8，为高性能数据库等场景设计，是热数据分层、数据湖等应用场景的最佳性价比实例规格 处理器：2.7 GHz主频的...
资源包购买指南
通过购买资源包，您可以提前预留资源，同时享受更大的价格优惠，帮助您更大程度节省支出。包年包月（资源包）是一种先付费后使用的计费方式。本文主要介绍 云备份 各备份场景下资源包的购买指南。使用须知 资源包按所需总量购买。例如适用...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
Databricks Runtime
Databricks Runtime Databricks Runtime包括Apache Spark，但还添加了许多组件和更新，这些组件和更新极大地提高了大数据分析的可用性，性能和安全性。用于机器学习的Databricks Runtime（敬请期待）Databricks Runtime ML是Databricks ...
内存型
线程模型对比 线程架构 说明 图 1.Redis单线程模型 Redis社区版和原生Redis采用单线程模型，数据处理流程为：读取请求，解析请求，处理数据，发送响应。其中网络IO和请求解析占用了大部分的资源。图 2.Tair多线程模型 Tair 内存型将服务各...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
实例规格族
计算：处理器与内存配比为1:4 处理器：采用Intel ® Xeon ® Emerald Rapids或者Intel ® Xeon ® Sapphire Rapids，主频不低于2.7 GHz，全核睿频3.2 GHz，计算性能稳定 支持开启或关闭超线程配置 说明 ECS实例默认开启超线程配置，更多...
导出结构和数据
导出文件格式 ODC 导出工具会将导出数据到以.zip 结尾的压缩文件包中，压缩包中包含元数据文件 MANIFEST.bin 和 Schema 下导入导出对象的结构定义文件和数据文件。创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
内存型
推荐 内存型实例规格族r8a 内存型实例规格族r8i 内存平衡增强型实例规格族r8ae 内存型实例规格族r8y 内存增强型实例规格族re7p 内存型实例规格族r7p 存储增强内存型实例规格族r7se 内存型实例规格族r7a 内存型实例规格族r7 安全增强内存型...
Java UDAF
最终输出：r.sum/r.count 即是所有输入数据的平均值。开发并调用Java UDAF的操作步骤如下：准备工作。使用MaxCompute Studio开发调试UDF时，您需要先安装MaxCompute Studio并连接MaxCompute项目，做好UDF开发前准备工作。操作详情请参见：...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
基于MaxFrame实现大语言模型数据处理
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
转盘抽奖
{"name":"一等奖","imgSrc":"https://img.alicdn.com/tfs/TB1R1zRrQL0gK0jSZFxXXXWHVXa-281-200.svg" } 动作 动作 说明 导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据，参考数据示例。[{"name":...
迁云服务内容说明
迁云服务包含4项子服务，客户可以结合自身业务需求进行购买：服务目录 基础包 标准包 进阶包 尊享包 迁云可行性分析 ✔️ ✔️ ✔️ ✔️ 系统迁云方案设计 ✔️ ✔️ ✔️ ✔️ 结构化数据迁云方案设计 ✔️ ✔️ ✔️ ✔️ 非结构化数据...
进度环图
动作 动作 说明 导入接口描述 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。请求接口描述 重新请求服务端数据，上游数据...
通用参考：按量付费转包年包月
任务类型 所用资源组 资源组介绍及计费说明 调度任务 公共调度资源组 使用公共资源组 公共调度资源组计费说明：按量付费 数据集成任务 公共数据集成（调试）资源组 使用公共资源组 公共数据集成（调试）资源组：按量计费 调用数据服务API ...
IO加速
背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存操作相比，磁盘IO操作运行速度较慢，将会消耗更多的时间。当业务出现大规模数据读写或频繁数据读写请求时，磁盘IO...
- 产品推荐
- 这些文档可能帮助您