常见问题
Hive日志数量少于实际日志数量？终止Flume进程时出现DeadLock报错，如何处理？如何处理强制退出后，FileChannel偶发性异常？Hive日志数量少于实际日志数量？问题现象：通过Flume将日志写入Hive，发现Hive中的日志数量少于实际产生的日志...
常用文件路径
JINDOTABLE_EXTRA_CLASSPATH=opt/apps/METASTORE/metastore-current/hive2 HIVE_HOME=opt/apps/HIVE/hive-current HIVE_LOG_DIR=var/log/taihao-apps/hive HIVE_CONF_DIR=etc/taihao-apps/hive-conf PATH=opt/apps/JINDOSDK/jindosdk-...
查看全局数据
VPC网络日志总日志量、小时日志量、天日志量 VPC网络日志统计 SLB全局信息 全局监控统计 日志量整体趋势、网络类型日志量趋势 SLB过去30天的日志量趋势 RDS全局数据 仪表盘 描述 总日志量、小时日志量、天日志量 RDS日志全局统计 MySQL日志...
使用前须知
费用说明 目前，流日志仅支持将提取到的网络日志投递到日志服务，流日志的费用=网络日志提取费+日志服务的服务费。网络日志提取费 VPC按照提取的日志收取网络日志提取费。更多信息，请参见 流日志计费说明。日志服务的服务费 当涉及的...
使用前须知
专属仪表盘 无 费用说明 在您使用转发路由器流日志过程中，将会产生以下两部分费用：网络日志提取费 转发路由器会按照提取的日志收取网络日志提取费。说明 当前暂不收取网络日志提取费，收费时间将另行通知。日志服务的服务费 当涉及的...
使用前须知
费用说明 目前，流日志仅支持将提取到的网络日志投递到日志服务，流日志的费用=网络日志提取费+日志服务的服务费。网络日志提取费 VPC按照提取的日志收取网络日志提取费。更多信息，请参见 流日志计费说明。日志服务的服务费 当涉及的...
开通日志分析功能
云安全中心 旗舰版、企业版 支持查看网络日志、安全日志和主机日志，高级版、防病毒版 仅支持查看安全日志和主机日志。不同版本的区别，请参见 计费概述。登录 云安全中心控制台。在左侧导航栏，选择 风险治理>日志分析。在 开通日志服务 ...
使用前须知
云安全中心 旗舰版、企业版 支持查看网络日志、安全日志和主机日志，高级版、防病毒版 仅支持查看安全日志和主机日志。不同版本的区别，请参见 计费概述。资产详情 专属Project和Logstore 开通日志分析功能后，系统默认创建一个名为 sas-...
使用前须知
单用户网络问题诊断 网络质量分析器会上传所有在线终端用户访问服务端时的网络日志，帮助您还原具体单个用户在不同时期的网络访问质量情况。网络质量分析器可用于单个特定用户的网络问题诊断排查。产品优势 跨平台、适配性强 提供Android、...
云产品日志概述
云安全中心 安全日志 漏洞日志 基线日志 安全告警日志 云平台配置检查日志 网络日志 DNS解析日志 本地DNS日志 网络会话日志 Web访问日志 主机日志 进程启动日志 网络连接日志 登录流水日志 暴力破解日志 进程快照日志 账号快照日志 端口...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
日志管理概述
输出安全网络日志到自建数据与计算中心。功能优势 等保合规：存储网站六个月以上的访问日志，助力网站符合等保合规要求。配置灵活：轻松配置即可实现Web访问及攻击防护日志的采集。支持自定义WAF日志字段和存储类型、设置需要采集日志的WAF...
使用前须知
功能介绍 您的业务在使用DCDN服务时，会产生大量的网络日志数据。通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务进行存储和消费，以便快速监控和定位业务问题。资产详情 专属Project和Logstore 开启日志投递功能后，...
云安全中心
本文介绍云安全中心网络日志、安全日志和主机日志的字段详情。网络日志 DNS日志 日志字段 说明_topic_日志主题，固定为sas-log-dns。owner_id 阿里云账号ID additional additional字段，各个值之间以竖线（|）分隔。additional_num ...
使用前须知
阿里云Web应用防火墙（WAF）联合日志服务推出WAF日志服务功能，提供网站域名访问日志、攻击防护日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求和您的网站业务防护和运营...输出安全网络日志到自建的数据与计算中心。
使用前须知
Web应用防火墙（WAF）的日志服务功能帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，提供查询分析、统计图表、报警服务、下游计算对接与投递等...输出安全网络日志到自建的数据与计算中心。
日志审计服务概述
Logstore waf_log 仪表盘 WAF审计中心 WAF安全中心 WAF访问中心 云安全中心 主机日志（8种）网络日志（4种）安全日志（3种）华东1（杭州）、新加坡 企业版本 需在SAS控制台中开通 日志分析 功能。更多信息，请参见 开通日志分析功能。...
服务入口
日志服务提供私网域名和公网域名，不同网络的接入方式请参见 使用Logtail收集各网络日志数据。在Project列表区域，单击目标Project。在Project的 项目概览 页面，查看该Project所在地域的服务入口。如何选择服务入口 私网域名和公网域名...
日志索引表
云产品分类 CloudLens应用 日志类型 存储 CloudLens for SLS 重要日志（消费组延迟日志、Logtail告警日志、Logtail采集日志、Logtail状态日志）详细日志 任务运行日志（定时SQL任务运行日志、数据导入、投递等任务的运行日志）错误日志 ...
日志类别及字段说明
购买日志分析存储容量后，云安全中心默认开启了安全日志、网络日志、主机日志，分别记录系统中的安全事件、网络流量情况和主机的活动。本文介绍云安全中心支持的日志类型以及每种日志类型的字段说明。日志分类 云安全中心分为安全日志、...
快速使用EMR Notebook
网络类型 仅支持专有网络类型。专有网络 默认展示工作空间配置的网络参数，不支持修改。为了确保数据源能够顺利连接至工作空间，其专有网络、安全组必须与当前展示的工作空间预设网络配置完全一致。安全组 地址 EMR集群部署了HiveServer2的...
日志字段详情
字段 说明_topic_日志主题，固定为mongo_run_log category 日志类别，例如NETWORK（网络链接日志）connection 日志连接信息 content 日志内容 instanceid MongoDB实例ID ip IP地址 level 日志级别 port 端口号 time 日志生成时间
选择网络
网络类型 阿里云内网：阿里云内网为千兆共享网络，日志数据通过阿里云内网传输比公网传输更快速、稳定，内网包括VPC和经典网络。公网：使用公网传输日志数据，不仅会受到网络带宽的限制，还可能会因网络抖动、延迟、丢包等影响数据采集的...
创建Hive数据源
使用Hive数据源作为集成的输入输出组件时，请确认Dataphin的IP地址已在Hive的网络白名单中，以确保Dataphin能够访问Hive中的数据。请确保Dataphin的应用集群与调度集群与Hive服务、HDFS的NameNode（包括webUI、IPC）和DataNode、KDC Server...
Dataphin提交至hive中的任务执行时间过长
查看yarn日志，hive执行的时间只有28秒；还有4分4秒耗费在哪里呢？解决方案 hive队列资源设置的不合理，hive任务等待时间过长，可以加大最大工作线程数。Hiveserver2允许在配置文件hive-site.xml中进行配置管理，常用参数有：hive.server2....
Hive连接器
访问Hive Metastore时，必须确保Coordinator节点和所有worker节点能够通过网络访问Hive Metastore以及存储系统。默认情况下，通过Thrift协议访问Hive Metastore的端口号为9083。Hive连接器支持访问DLF。只需在创建集群时，元数据选择 DLF...
功能特性
本文介绍日志服务主要的功能。数据采集 日志服务提供50多种数据接入方案。...内置百种告警规则，支持一键式开启，覆盖账户安全、权限管理、存储、主机、数据库、网络、日志等各个方面的合规监控。更多信息，请参见 日志审计概述。
Hive连接器
Coordinator节点和所有worker节点必须能够通过网络访问Hive Metastore以及存储系统。通过Thrift协议访问Hive Metastore的默认端口是9083。修改Hive连接器配置 修改Hive连接器配置，详情请参见 配置连接器。连接器默认配置 进入EMR控制台的...
访问Hive数据源
AnalyticDB MySQL湖仓版（3.0）支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。...
Kafka消费概述
内网endpoint和对应port，可以通过阿里云内部网络访问日志服务，相比公网有更好的链路质量和安全性。String endpoint="cn-hangzhou-intranet.log.aliyuncs.com";String port="10011;String hosts=project+"."+endpoint+":"+port;props.put...
使用Terraform配置日志审计服务
terraform plan 内网环境日志审计配置 如果您希望通过内网环境配置日志审计，采取如下操作：使用 1.214.0 及以上版本 alicloud provider 请通过 endpoints 配置正确的网络访问入口，例如您需要通过北京的内网环境，可以配置 ...
EMR-3.33.x版本说明
Ranger 增加Hive的Audit日志配置。增加Log4j Audit的配置。OpenLDAP 增加审计功能。默认开启SSL端口（10636）。支持一键开启Presto。Knox 修复Spring漏洞。修复Spark UI中查看Executors页面的问题。修复Oozie的Job状态页面的问题。Hue 支持...
Hive作业异常排查及处理
Hive CLI命令行提交的作业客户端日志位于集群或Gateway节点的/tmp/hive/$USER/hive.log 或者/tmp/$USER/hive.log。Hive Beeline或者JDBC提交的作业日志位于HiveServer服务日志中（一般位于/var/log/emr/hive 或者/mnt/disk1/log/hive 目录...
迁移服务（MMA）
步骤二：安装并启动MMA服务 MMA网络架构图 MMA作为连接Hive网络环境和MaxCompute之间的中转节点，其网络架构图如下所示。环境准备 计划安装MMA服务的服务器，需满足以下要求：安装JDK 8版本的Java。能够访问Hive MetaStore和Hive Server2，...
Hive服务异常排查及处理
可继续对HiveMetaStore或者HiveServer2的日志进行排查，日志路径一般位于/mnt/disk1/log/hive/中，可逐步检查组件的.log、.err、.out 及GC等日志，判断HiveMetastore或者HiveServer2出现异常的真实原因。HiveMetaStore后端数据库问题 常见...
创建流日志
您可以在智能接入网关中创建流日志实例，将智能接入网关的传入和传出流量信息投递到日志服务中。本文介绍创建流日志实例的操作步骤及相关操作。前提条件 已购买智能接入网关SAG-1000设备且其软件版本为1.7.0及以上。具体操作，请参见 购买...
通过Hive连接并使用宽表引擎
本文主要介绍如何通过Hive访问Lindorm宽表。前提条件 宽表引擎为2.4.3及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。已将客户端IP地址添加至Lindorm白名单。如何添加，请参见 设置白名单。已获取宽表引擎的...
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
通过Hive访问HBase增强版
本文介绍如何通过Hive访问HBase增强版。前提条件 HBase增强版集群为2.4.3及以上版本。如何查看或升级当前版本，请参见 小版本升级。已将客户端IP地址添加至HBase增强版集群的白名单。如何添加，请参见 设置白名单和安全组。已在控制台获取...
- 产品推荐
- 这些文档可能帮助您