设备环境探测
[Boolean]cssAvaliable：constant(safe-area-inset-*)的CSS是否可用，等价于判断系统是否是 VER.iOS 11 或更高，且客户端使用Xcode进行编译。window.WindVane.call('WVNativeDetector','getSafeAreaInsets',{},function(e){ alert('success...
实践教程概览
业务应用 实践教程 主要内容 使用LAMMPS软件进行工业仿真 LAMMPS是一款经典分子动力学软件，其包含的势函数可用于固体材料（金属、半导体）、软物质（生物大分子，聚合物）、粗粒化或介观尺度模型体系。本教程介绍如何使用E-HPC集群运行...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
基于ACCL优化套件进行多机训练
说明 在任务调度系统中，主节点Pod的选取、Rank相关环境变量的预设由任务平台自动配置，用户只需在训练代码中根据环境变量确定所使用的GPU设备、读取对应的数据分片。底层的设置例如GPU与网卡之间的亲和关系等由ACCL自动探测拓扑来决定，...
函数实例生命周期回调方法
2023-09-06 11:08:10FC PreStop Start RequestId:944bca62-b209-47a1-9e48-2723647bce0a 2023-09-06 11:08:10load code for handler:index.preStop 2023-09-06 11:08:102023-09-06 11:08:10 944bca62-b209-47a1-9e48-2723647bce0a[verbose]...
CreateOfficeConversionTask-创建单个文档的转换任务
d1fdd246-e187-11e8-9f32-f2801f1b9fd1 PdfVector boolean 否 当 PDF 转换为 VECTOR 时，是否使用向量模式，默认值为 false。包括如下选项：true：使用向量模式，预览效果比较清晰，但是转换耗时较长。false：使用图片模式，预览效果一般，...
样例代码
如果您使用的是Python 3，则请参见 常用API教程 下的示例。创建集群#!usr/bin/python from aliyunsdkcore import client from aliyunsdkemr.request.v20160408 import CreateClusterRequest clt=client.AcsClient(System.getenv("ALIBABA_...
退款说明
本文介绍阿里云E-MapReduce的退款规则和退款方式。退款规则与方式 计费方式 退款规则 退款方式 包年包月 包年包月的集群在购买时已经根据购买时长预先支付了费用。在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例...
什么是弹性高性能计算E-HPC
弹性高性能计算E-HPC（Elastic High Performance Computing）是阿里云提供的性能卓越、稳定可靠、弹性扩展的高性能计算服务。弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、...
Hudi与Spark SQL集成
E-MapReduce的Hudi 0.8.0版本支持Spark SQL对Hudi进行读写操作，可以极大的简化Hudi的使用成本。本文为您介绍如何通过Spark SQL对Hudi进行读写操作。使用限制 EMR-3.36.0及后续版本和EMR-5.2.0及后续版本，支持Spark SQL对Hudi进行读写操作...
解析函数
字段 说明 scheme 网络协议 netloc 网络位置 path 分层路径标识 query 查询组件 fragment 片段标识符 函数示例 示例1：使用默认参数，返回URL的各个组成部分。原始日志 content:https://username:username@example.com:8083/hello/asdah/;...
QueryReceiverDetail
{"DataSchema":"UserName,NickName,Gender,Birthday,Mobile","RequestId":"90AA5D9E-A802-5F11-A0C5-537AAB8CACD2","data":{"detail":[{"UtcCreateTime":1692080837,"Email":"111@example.net","CreateTime":"2023-08-15T14:27:17Z","Data...
Hudi MetaStore使用说明
本文为您介绍如何使用E-MapReduce的Hudi MetaStore。背景信息 Hudi每次操作数据都会新增时间线（instant），查询时需要读取所有时间线元数据，以获得在该时间点上的有效分区或文件，其中Partition Listing和File Listing涉及大量IO操作，...
SDK概述
E-MapReduce各版本SDK的发布说明。说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打...
EMR旧版数据开发迁移公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态。如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的...
新功能发布记录
本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档，帮助您了解E-MapReduce的发布动态。版本说明详情，请参见 版本概述。E-MapReduce的重要功能发布详情请参见 产品重大更新。2024年 2024年03月 功能名称 功能概述 发布时间 ...
StartTimedResetOperate-停复机操作开机接口
警告 处于开机中状态的实例是无法使用的，需要等待开机完成，状态变化为开机。同时计费将从开机完成之后开始计费。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
Hive访问Delta Lake和Hudi数据
4.820221130150621338 20221130150621338_0_1 id:2 40d6507e-0579-42ce-a10f-c5e07a3981e5-0_0-29-2007_2022113015062*.parquet 2 a2 11.0 1000 说明 由于当前为非分区表，所以_hoodie_partition_path 为空。前四个字段为Hudi默认添加的...
访问链接与端口
前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 方式 优点 限制 方式一：通过Knox服务代理访问开源组件UI 只需在集群安全组开启较少端口。可以通过 管理用户 中添加的用户进行身份认证。集群需要安装OpenLDAP和Knox服务。...
签名机制
说明 计算签名时使用的Key就是您持有的AccessKey Secret并加上一个“&”字符（ASCII:38）,使用的哈希算法是SHA1。按照Base64编码规则把上面的HMAC值编码成字符串，即得到签名值（Signature）。将得到的签名值作为 Signature 参数添加到请求...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
EMR-5.2.x版本说明
修改E-MapReduce控制台上，Hive服务 配置 页面的 hive-env 页签的配置项名称为大写，便于用户使用。修复UDF（User Define Function）导致HiveServer2内存泄露的问题。优化文件系统与MetaStore不一致时写Hive表的报错信息。HDFS 支持ZSTD...
使用REST-API
配置Access Token 如果您生成的 Access Token 已经过期，或者希望测试应用APP使用的特定 Access Token，您可以按照以下步骤修改 Swagger UI 控制台使用的 Access Token。点击页面中的“Authorize”按钮，弹出认证信息输入对话框。如果已经...
Superset（仅对存量用户开放）
您可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板，并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-MapReduce Druid做了深度集成，...
开启native查询加速
说明 因为查询加速使用的是堆外内存，所以在Spark任务中建议添加配置-conf spark.executor.memoryOverhead=4g，提高Spark申请额外资源用来进行加速。Spark读取ORC或Parquet时，需要使用DataFrame API或者Spark-SQL。全局设置 进入详情页面...
调用函数清洗数据
场景1：过滤日志（e_keep函数和e_drop函数）您可以使用 e_drop 函数或 e_keep 函数过滤日志，也可以使用 e_if 函数与DROP参数、e_if_else 函数与DROP参数过滤日志。常用规则如下所示：e_keep(e_search(.))：满足条件时保留，不满足条件时...
开启native查询加速
说明 因为查询加速使用的是堆外内存，所以在Spark任务中建议添加配置-conf spark.executor.memoryOverhead=4g，提高Spark申请额外资源用来进行加速。Spark读取ORC或Parquet时，需要使用DataFrame API或者Spark-SQL。全局设置 进入详情页面...
开启native查询加速
说明 因为查询加速使用的是堆外内存，所以在Spark任务中建议添加配置-conf spark.executor.memoryOverhead=4g，提高Spark申请额外资源用来进行加速。Spark读取ORC或Parquet时，需要使用DataFrame API或者Spark-SQL。全局设置 进入详情页面...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
Kafka Indexing Service
本文介绍如何在E-MapReduce中使用Apache Druid Kafka Indexing Service实时消费Kafka数据。前提条件 已创建E-MapReduce的Druid集群和Kafka集群，详情请参见 创建集群。背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache ...
常见问题
本文汇总了Spark使用时的常见问题。Spark Core 在哪里可以查看Spark历史作业？是否支持Standalone模式提交Spark作业？如何减少Spark2命令行工具的日志输出？Spark SQL 如何使用Spark3的小文件合并功能？如何处理SparkSQL数据倾斜?PySpark ...
GetUrlUploadInfos-获取URL上传信息
接口说明 通过 URL 上传时返回的 JobId 或者上传时使用的 URL 来获取 URL 上传信息，包括 URL 上传状态、UserData、创建时间、完成时间等。如果上传失败可以查看错误码和错误信息，上传成功可以查看对应的视频 ID。调试 您可以在OpenAPI ...
肝癌检测
RecistEndpoints Array of Float[94,195],[159,315],[80,295],[175,243]RECIST长短径的端点，[[x11,y11],[x12,y12],[x21,y21],[x22,y22]]，其中[x11,y11],[x12,y12]代表长径，[x21,y21],[x22,y22]代表短径。Diameter Array of Float 108....
旧版控制台文档说明
监控大盘：作业大盘：您可以使用新版控制台的E-MapReduce Doctor（简称EMR Doctor）全局了解集群的健康状况和动态走势，详情请参见 E-MapReduce Doctor。日志中心：详情请参见 管理日志。事件中心：详情请参见 管理事件中心。集群监控：...
Python使用说明
E-MapReduce使用的Python 3版本为Python 3.6.4。支持Python 3.6.4 EMR-2.10.0及后续版本和EMR-3.10.0及后续版本，支持Python 3.6.4。Python文件安装目录为/usr/bin/python3.6。EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您...
TG7200C
TG7200C是天猫精灵新推出的一款高度集成的芯片，具备Wi-Fi 802.11n 和蓝牙 5.2 组合解决方案，专为低功耗和紧凑尺寸的应用设计；适用于智能照明、智能家居、定位和其他先进的物联网应用。产品详情 概述 TG7200C是天猫精灵新推出的一款高度...
EMR Workflow公测说明
公测面向所有用户开放，您可以在 E-MapReduce控制台，选择 EMR Workbench>Workflow，进入EMR Workflow页面创建项目并进行测试。重要 公测期间您可以免费试用EMR Workflow服务，但EMR Workflow工作流运行时需要关联EMR集群，创建或使用已有...
复杂JSON数据加工
e_json("servers",depth=1)))e_if(e_search("_topic_=overall_type"),e_drop_fields("servers"))#处理client_status日志 e_if(e_search("_topic_=client_status"),e_compose(e_split("clients"),e_json("clients",depth=1),e_drop_fields(...
通过JDBC方式访问Presto
创建了包含Presto服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Presto提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，...
- 产品推荐
- 这些文档可能帮助您