监控与日志
监控与日志可有效保障您部署在专有网络VPC中的资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
计费案例
31个*天 免费 读写流量 上传日志时的网络流量：10 MB/天×20%×31天=62 MB 通过Java订阅日志时的网络流量：10 MB/天×20%×31天=62 MB 124 MB 免费 存储空间-日志存储 日志存储量：10 MB/天×20%×31天=62 MB 被构建索引的日志存储量：10 ...
Spark
如何解决Spark SQL应用读JSON外表（包含日志投递自建）时，出现ClassNotFoundException:org.apache.hadoop.hive.serde2.JsonSerDe报错？运行Spark应用时，为什么Spark Executor节点会出现Dead？Spark访问外部数据源时，为什么会出现网络...
使用Prometheus监控E-MapReduce
消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。Kafka-HOME Kafka-Broker Kafka-Topic Impala指标 Impala为存储在Apache Hadoop中的数据提供了高性能和低...
使用Prometheus监控E-MapReduce
消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。Kafka-HOME Kafka-Broker Kafka-Topic Impala指标 Impala为存储在Apache Hadoop中的数据提供了高性能和低...
创建和管理流日志
专有网络VPC（Virtual Private Cloud）提供流日志功能。流日志功能可以捕获VPC中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，您可以通过分析流日志捕获的流量信息检查VPC下的访问控制规则、排查网络故障以及监控异常...
Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
SHOW
Tunnel操作 查看上传或下载数据的详细命令或日志。安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、...
SHOW
Tunnel操作 查看上传或下载数据的详细命令或日志。安全操作 在当前项目中查看项目的安全配置属性。Package操作 在MaxCompute项目中查看已创建或已安装的Package列表。备份操作 查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、...
Spark Load
从hive-table中抽取待去重字段的去重值，生成一张新的Hive表，记为distinct-value-table。新建一张全局字典表，记为dict-table。一列为原始值，一列为编码后的值。将distinct-value-table与dict-table进行LEFT JOIN，计算出新增的去重值...
EMR Serverless Spark与其他VPC间网络互通
通过网络连接功能，您可以访问自有VPC（Virtual Private Cloud）内的数据源。本文将以SparkSQL和Application JAR类型任务连接至您的自有VPC的HMS（Hive Metastore）服务为例，为您介绍如何配置并访问自有VPC内的数据源。前提条件 已准备好...
通过X2Doris导入数据
2.配置元数据读取 修改配置文件 conf/application-hive.yaml 来设置获取Hive元数据方式，目前支持三种：JDBC，阿里云 DLF，Metastore Metastore 这是默认推荐的读取Hive元数据的方式，如果Hive是标准的Apache Hive，则推荐这种方式，直接将...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
EMR元数据迁移DLF最佳实践
网络连接：当前支持“阿里云VPC”,“公网连接”两种方式。请根据上一步MySQL类型进行配置。阿里云VPC：即EMR集群或RDS的VPC信息 公网连接：当选择公网连接时，在EMR控制台上添加规则，使EMR集群3306端口（默认）对DLF弹性公网IP 开放。如下...
常见问题
此时如果想进入UI，在保障网络权限的前提下，可以在 config.properties 中增加如下配置后，再使用原有方法进入UI界面。web-ui.authentication.type=fixed web-ui.user=trino 从Trino的UI中，可以获取到Trino最近执行的查询信息，包括SQL...
使用CreateCluster API创建集群
CreateCluster用于创建一个新的集群。在实际操作中，调用CreateCluster API接口以构建新集群的过程涉及众多参数，其中尤以Applications服务列表及其关联的ApplicationConfigs配置项最为复杂和...应用选择OSS-HDFS和HBase，使用HBase日志存储[{...
通过Spark Distribution SQL Engine开发Spark SQL作业
在 应用列表 页签中，单击目标Spark应用操作列的 日志，获取Spark Distribution SQL Engine的IP地址。jdbc:hive2:/172.XX.XX.XX:10001/;transportMode=http;httpPath=s202401301607hz*.cliservice 获取Spark Distribution SQL Engine的域名...
Spark FAQ
如何处理Spark SQL读JSON外表（包含日志投递自建）时的报错ClassNotFoundException:org.apache.hadoop.hive.serde2.JsonSerDe？如何处理执行Spark SQL报错：Exception in thread"main"java.io.IOException:No FileSystem for scheme:oss？...
消费-计量计费日志
数据量大应如何解决 在一些计费场景下（例如运营商、IoT等），计量日志量会很大（例如十万亿，数据量为每天2PB），折算压缩数据后一小时有16TB，以万兆网络读取需要1600秒，已不能满足快速出账单需求。控制产生的计费数据量 对于产生计量...
Spark应用配置参数说明
Spark Jar开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"Notebook开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"spark-submit命令行工具 key=value spark.sql.hive.metastore.version=adb 指定...
使用Hadoop作为元仓计算引擎进行元仓初始化
各方式获取元数据优劣势对比详情如下：元数据获取方式 优势与劣势 直连元数据库 高性能：直接连接底层的元数据库，省去了中间的HMS服务环节，客户端在获取meta（元数据）时性能更好，同时能够减少网络传输上的耗时。更开放：通过HMS服务...
安全白皮书
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
通过Spark SQL读Lindorm数据
本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表引擎、计算引擎、文件引擎。计算引擎开通方式，请参见 开通与变配。已开通...
JindoFS实战演示
Flume高效写入OSS Flume高效写入OSS 2021-06-01 Flume是一个分布式、可靠、高可用的系统，支持从不同数据源高效地收集、聚合、迁移大量日志数据，聚合到中心化的数据存储服务，被广泛用于日志收集场景中。由于OSS本身不支持Flush功能，而...
Flowlog日志中心
阿里云日志服务和专有网络联合推出Flowlog日志中心，用于VPC的策略统计、弹性网卡、流量统计以及网段间流量统计，帮助您快速、有效地分析VPC流日志。
过滤VPC流日志公网流量
在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...
设置Flowlog日志中心
日志服务支持通过Flowlog日志中心可视化分析VPC流日志。本文介绍设置Flowlog日志中心的操作步骤。前提条件 当您首次创建流日志时，需要单击 立即授权，然后单击 同意授权。授权成功后才能保证流日志可以将相关日志写入日志服务中。您已经在...
数据采集概述
日志服务提供以下网络类型的接入点：阿里云内网（经典网络和专有网络VPC）：本地域内服务访问，带宽链路质量较好。公网：可以被任意访问，访问速度取决于链路质量。为了保障传输安全建议使用HTTPS。关于接入点的更多信息，请参见 服务入口...
使用前须知
阿里云日志服务联合阿里云内容分发网络CDN推出实时日志推送功能，将借助于CDN访问图片、文字或视频资源时产生的日志实时推送到日志服务中。资产说明 自定义日志服务Project、Logstore 重要 请勿删除CDN实时日志相关的日志服务Project和...
如何查看日志服务Project的服务入口
概述 本文主要介绍如何查看日志服务Project不同网络类型的服务入口。详细信息 日志服务提供了公网服务入口、经典网络及VPC网络服务入口、全球加速服务入口，具体操作请参见 服务入口。适用于 日志服务
目标Logstore输出错误
LOG DSL引擎每次读取一个批次的源日志（从1条到近万条不等），数据加工后，并不是加工一条日志就输出一条，而是会先将加工好的数据存放在一个缓存池中，等源数据批次处理完，再一起输出。该环节产生错误主要是由于对目标Logstore的访问异常...
新功能发布记录
本文介绍日志服务每次发布涉及的功能变更及对应的文档，帮助您了解日志服务的发布动态。2024年3月 功能名称 功能描述 支持地域 相关文档 字段分析 SLS（Simple Log Service）具备字段分析功能，专注于对text、long和double类型字段的统计...
Android SDK快速入门
本文介绍如何快速使用日志服务Android SDK采集日志。前提条件 已安装Android SDK。具体操作，请参见 安装Android SDK。快速使用 您可以按照以下方式初始化SDK，并通过调用 addLog 方法上报日志。重要 SDK支持初始化多个实例，...
iOS SDK快速入门
本文介绍如何快速使用日志服务iOS SDK采集日志数据。前提条件 已安装iOS SDK。具体操作，请参见 安装iOS SDK。快速使用 您可以按照以下方式对SDK进行初始化，并同调用 addLog 方法上报日志。重要 iOS SDK支持初始化多个实例，...
管理数据库
Hive 参数 说明 数据库类型 Hive 名称 新建数据库的名称，长度限制为1~64个字符，只允许包含中文、字母、数字、空格、短划线（-）和下划线（_）。网络类型 仅支持专有网络类型。专有网络 默认展示工作空间配置的网络参数，不支持修改。为了...
- 产品推荐
- 这些文档可能帮助您