开源网络爬虫介绍及其比较-开源网络爬虫介绍及其比较文档介绍内容-阿里云

支持地域

本文为您介绍EMR Notebook支持的地域。地域列表说明如果您有其他地域的需求，可以提交工单申请，阿里云EMR团队将评估是否增加新的地域。中国地区地域名称地域ID 华北2（北京）cn-beijing 华东1（杭州）cn-hangzhou 华东2（上海）...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...

释放集群

当集群不再使用时，您可以释放集群以...本文为您介绍如何释放集群。前提条件请确保待释放集群的状态是创建中、运行中或空闲中。操作步骤登录 EMR on ACK。在EMR on ACK页面，单击待释放集群操作列的释放。在弹出的对话框中，单击确定。

使用限制

本文介绍阿里云EMR Serverless Spark在资源数、性能、项目空间数量或JAR包数量等方面的限制，请您评估以下限制对您业务的影响并做出相应的调整。限制项说明地域 EMR Serverless Spark仅在部分地域提供服务，支持详情请参见支持地域。...

管理任务

本文为您介绍如何管理任务定义和任务实例。任务定义操作在任务定义页面，您可以执行以下操作。操作说明（版本）只能切换至处于下线状态的任务定义。（删除）只能删除处于下线状态的任务定义。任务实例操作在任务实例页面，您可以...

概述

本文介绍Spark SQL流式处理支持的窗口函数及其时间属性。窗口函数窗口函数是对一个特定窗口的聚合。例如，您可以通过定义窗口来收集过去1分钟内某网站的用户点击量，并对这个窗口内的数据进行计算。Spark SQL流式处理支持两类窗口：滚动...

EMR Serverless StarRocks服务等级协议更新

《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在服务等级协议中查看。变更生效时间 2024年03年01日变更范围 EMR Serverless StarRocks（标准版）...

访问Web UI

访问开源组件的Web UI。单击上方的访问链接与端口页签。在访问链接与端口页面，单击服务所在行的链接，即可正常的访问Web UI页面。常见问题问题描述：ACK集群未安装Ingress组件，该如何处理？解决方法：访问Web UI，需要ACK集群具备...

重启服务

本文为您介绍如何重启服务。前提条件已在E-MapReduce上创建on ACK的集群，创建详情请参见快速入门。操作步骤进入服务详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群操作列的配置。单击上方的服务详情。在服务详情...

EMR Workflow商业化公告

EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...

数据服务集群

特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...

三方开源大语言模型

本文主要介绍阿里云百炼平台引入上架的三方开源大语言模型基本信息，计费情况等调用必备基础信息。基本信息重要三方开源大模型API调用需申请后开通体验，请点击“立即申请”，申请通过后才能调用。模型服务模型名称模型描述特征 Llama...

EMR Hive功能增强

本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本组件版本功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...

概述

SmartData组件包括：JindoFS核心子系统：为各种远端存储系统提供缓存和缓存加速，详情请参见 JindoFS介绍和使用。JindoTable核心子系统：为表格数据源（例如Hive数仓）提供表和分区级别的优化和治理，详情请参见 JindoTable使用说明。...

实例状态表

本文介绍EMR Serverless StarRocks实例的状态表。状态名状态码状态说明待支付 unpaid 实例创建订单尚未支付。订单支付后才会进行实例的创建。启动中 creating 实例正在创建中，该状态会持续3~10分钟。运行中 running 实例处于正常运行...

支持地域

本文为您介绍阿里云地域的概念、选择指导以及阿里云EMR Serverless Spark支持的地域列表。背景信息地域（Region）：指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的城市是北京。...

Workflow商业化发布

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...

安装SDK

本节介绍阿里云E-MapReduce Python 2.7+SDK安装流程。SDK安装通过pip进行安装。sudo pip install aliyun-python-sdk-emr 如果需要升级E-MapReduce Python SDK。sudo pip install aliyun-python-sdk-emr-upgrade 卸载SDK。sudo pip ...

什么是EMR on ACK

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比阿里云EMR提供on ECS和on ACK两种方式，以...

建表语句

本文为您介绍Spark SQL建表语法。语法 CREATE TABLE tbName[(columnName dataType[,columnName dataType]*)]USING providerName OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);使用CTAS语句建表语法如下，将创建表和...

支持地域

本文为您介绍EMR Worflow支持的地域。地域概述地域指数据中心所在的地理区域，资源创建成功后不能更换地域。支持的地域说明如果您有其他地域的需求，可以提交工单申请，阿里云EMR团队将评估是否增加新的地域。中国地区地域名称地域...

TriggerCondition

名称类型描述示例值 object MetricName string ...AVG ComparisonOperator string 比较符。必填参数。取值范围：EQ：等于。NE：不等于。GT：大于。LT：小于。GE：大于等于。LE：小于等于。LT Threshold double 触发阈值。必填参数。12.5

滚动窗口

本文为您介绍如何使用Spark SQL流式处理中的滚动窗口函数。什么是滚动窗口滚动窗口（TUMBLING）将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限...

滑动窗口

本文介绍如何使用Spark SQL流式处理中的滑动窗口函数。什么是滑动窗口滑动窗口（HOPPING），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有windowDuration和slideDuration两个参数。windowDuration为窗口的...

管理用户

本文为您介绍如何添加和删除用户。前提条件已创建工作空间，详情请参见管理工作空间。已创建RAM用户，详情请参见创建RAM用户。添加用户进入EMR Notebook页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Workbench>Notebook。在...

JindoFS实战演示

当前很多数据湖架构基于对象存储，相对于本地存储，其性能受到网络带宽和负载机器的影响，存在性能瓶颈和波动，同时因为远端读取OSS单次IO比较慢，在列存等一些随机读比较多的场景，性能差距尤其明显（无法预读）。在此背景下，稳定且高...

回滚配置

本文为您介绍如何通过E-MapReduce控制台回滚各服务的参数配置。前提条件已对服务配置进行实际的操作变更。操作步骤进入集群服务页面。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域和资源组。在EMR on ECS页面，单击...

EMR-3.28.x版本说明

本文介绍EMR-3.28.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.28.0 2020年6月12日新增内容服务变更点 Bigboot 发布首个JindoTable版本，基于表或分区的热度统计。支持Block模式上完整的存储策略，支持分层存储策略，包括低频...

EMR Workbench

功能介绍 EMR Notebook 交互式编程环境：支持Jupyter笔记本，提供灵活的编程环境。多语言支持：允许使用Python、SQL等多种语言进行数据分析任务。协同开发：支持多用户同时访问，每个用户的开发环境是独立的，互不影响，实现高效协作。数据...

简介

本文介绍Spark SQL流式处理中关键字常用类型和使用关键字字符的方法。背景信息 Spark Streaming SQL是基于Spark Structured Streaming开发完成的，所有语法功能和使用限制遵循Spark Structured Streaming的标准，因此可以使用SQL语句来开发...

设置Hudi参数

本文通过两种方式为您介绍，如何设置Hudi参数。Set方式此方式通过Set设置全局参数。set hoodie.insert.shuffle.parallelism=100;set hoodie.upsert.shuffle.parallelism=100;set hoodie.delete.shuffle.parallelism=100;options方式此...

SUB_PROCESS

本文为您介绍创建SUB_PROCESS类型任务时涉及的参数。参数说明节点名称任务的名称。一个工作流定义中的节点名称是唯一的。运行标志正常（默认）：运行工作流时执行该任务。禁止执行：运行工作流不会执行该任务。描述当前节点的功能描述...

TSDB开源生态概述

时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB

创建项目

文为您介绍如何在EMR Workflow上创建项目。前提条件已创建工作空间，详情请使用管理工作空间。操作步骤进入项目管理页面。使用阿里云账号（主账号）或RAM用户登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Workbench>Workflow。在...