产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
思维导图导入测试用例
即可看到导出说明，上传符合规则的思维导图文件，系统会自动解析。解析完成后，点击「立即导入」，即可完成测试用例的导入。当解析发现问题时，系统会自动提示问题节点，可以选择本地修复后重新上传，或由系统自动处理。思维导图格式说明 1...
思维导图导入测试用例
即可看到导出说明，上传符合规则的思维导图文件，系统会自动解析。解析完成后，点击「立即导入」，即可完成测试用例的导入。当解析发现问题时，系统会自动提示问题节点，可以选择本地修复后重新上传，或由系统自动处理。思维导图格式说明 1...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
2024年
新说明 ECS资源复用版是MaxCompute按量付费类型中的一种实例规格，旨在将ECS闲置实例转换为可用的MaxCompute计算资源，该方式可以充分利用已有的计算资源，而不需要额外购买新的MaxCompute计算资源，从而在满足大数据处理需求的同时，提高...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据科学计算概述
背景信息 Python作为目前机器学习、AI模型开发的主流编程语言，提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库，用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...
基本对象概念
PolarDB兼容Oracle数据库还没有实现对面向对象的编程语言的某些功能的支持。本章仅介绍已实现的一些功能。概念 对象类型是对某一实例的描述或定义。对象类型的定义分为两部分：属性 – 描述对象实例的特定特点的字段。对于个人对象，属性...
Github公开事件数据
本文为您介绍MaxCompute公开数据集中 Github公开事件数据 的基本信息、如何通过MaxCompute执行 Github公开事件 数据查询以及 Query样例和分析结果。简介 大量开发人员在GitHub上进行开源项目的开发工作，并在项目的开发过程中产生海量事件...
不同编程语言中如何开启客户端的PrepareStatement
本文将介绍如何在不同编程语言中开启客户端的PrepareStatement。大多数数据库中，依靠服务器端预处理语句可以提高数据库性能。AnalyticDB MySQL 数据库自身具备强大的查询计算能力和计划缓存功能，无需依靠服务器端预处理语句获得大部分...
交叉透视表
[{"value1":632,"row1":"浙江省","row2":"绍兴市","column1":"家具","column2":"沙发"}]动作 动作 说明 请求透视表接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如，交叉透视列表配置了API数据源为 ...
功能特性
阿里云Flink（流式）DataHub（实时）DataHub是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能构建基于流式数据的分析和应用。DataHub（实时）SLS投递 将日志服务采集的...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
思维导图
云效知识库灵活的「思维导图」可以让你整理信息与书写文档一气呵成。绘制思维导图 在段首点击「+」按钮或者手工输入「+」，选择「思维导图」即可生成在文档中。通过点击工具条或者快捷键来新增节点，如 Enter 插入同级节点，Tab 插入子节点...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
开发PyODPS 2任务
示例 以下以一个简单示例为您介绍PyODPS节点的使用：准备数据集，创建 pyodps_iris 示例表，具体操作请参见 Dataframe数据处理。创建DataFrame，详情请参见 从MaxCompute表创建DataFrame。在PyODPS节点中输入以下代码并运行。from odps.df ...
开发PyODPS 3任务
示例 以下以一个简单示例为您介绍PyODPS节点的使用：准备数据集，创建 pyodps_iris 示例表，具体操作请参见 Dataframe数据处理。创建DataFrame，详情请参见 从MaxCompute表创建DataFrame。在PyODPS节点中输入以下代码并运行。from odps.df ...
云数据库Redis开发运维规范
由于编程语言的字节码随着版本可能会变化，如果存储裸对象（例如Java Object、C#对象）会导致整个软件栈升级困难，推荐使用串行化方法将Value变成可读的结构。SDK使用规范 重要程度 规范 说明★推荐使用JedisPool或者JedisCluster连接实例...
Tair开发运维规范
由于编程语言的字节码随着版本可能会变化，如果存储裸对象（例如Java Object、C#对象）会导致整个软件栈升级困难，推荐使用串行化方法将Value变成可读的结构。SDK使用规范 重要程度 规范 说明★推荐使用JedisPool或者JedisCluster连接实例...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
概述
qwen builtin_qwen#ailib#_builtin_qwen.so STRING 基于通义千问的大模型函数。适用场景 数据库表中每一行数据对应一个模型推理输出结果的场景。AI模型依赖于数据更新，无法频繁将数据导出数据库进行推理的场景。AI模型推理使用的SQL语句...
拉勾教育
有一块领域是编程教育，会以图、文、音、视频的方式教授互联网热门领域的编程课程，同时课程中最大特色的就是交互式学习，做到了对知识的接收、理解、动手实操及掌握的闭环，编程教育的核心是在线编程系统，即在线输入各种编程语言的代码就...
拉勾教育
有一块领域是编程教育，会以图、文、音、视频的方式教授互联网热门领域的编程课程，同时课程中最大特色的就是交互式学习，做到了对知识的接收、理解、动手实操及掌握的闭环，编程教育的核心是在线编程系统，即在线输入各种编程语言的代码就...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
产品简介
自然语言处理（Natural Language Processing，简称NLP），是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，旨在帮助用户高效的处理文本，已经广泛应用在电商、文娱、司法、公安、金融、医疗、电力等行业客户的多项业务中，取得了...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
概述
事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据（包括：数据、特征和模型）服务来解决这种割裂状态，大大减少数据驱动的智能...
查看资源使用情况-半托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
应用场景
批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，使得传统的集中式数据库，出现了单点瓶颈，垂直扩容成本非常高，几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
查看资源使用情况-全托管
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
LLM数据处理
本文以开源项目RedPajama在GitHub中的少量数据为例，为您介绍如何使用PAI提供的LLM大语言模型数据处理组件，对GitHub代码数据进行数据清洗和处理。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，...
Kafka单表实时入湖OSS（HUDI）
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
- 产品推荐
- 这些文档可能帮助您