通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已...
GetJobAttemptLog
调用GetJobAttemptLog，获取对应JobAttempt的日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
常见问题
358).11 more OSS Java SDK依赖下列包：aliyun-sdk-oss-2.2.1.jar hamcrest-core-1.1.jar jdom-1.1.jar commons-codec-1.9.jar httpclient-4.4.1.jar commons-logging-1.2.jar httpcore-4.4.1.jar log4j-1.2.15.jar 其中log4j-1.2.15.jar是...
监控告警与日志问题
例如，设置Kafka Connector相关的 log4j.logger.org.apache.kafka.clients.consumer=trace（源表）和 log4j.logger.org.apache.kafka.clients.producer=trace（结果表）参数时，需要在 Log Levels 中配置，不能在 其他配置 中配置。...
通过消费组消费数据
通过消费组（ConsumerGroup）消费数据有显著优点，您无需关注日志服务的实现细节及消费者之间的负载均衡、故障转移（Failover）等，只需要专注于业务逻辑。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户及授权。已...
通过日志服务导入至数仓版
日志服务采集到日志后，可以将Nginx访问日志、Log4j日志、Apache日志以及结构化文本等日志实时同步至 AnalyticDB MySQL 数仓版（3.0）进行存储和分析。前提条件 已采集日志到目标Logstore。具体操作，请参见 数据采集。在AnalyticDB MySQL...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
操作指导
java.lang.AbstractMethodError java.lang.ClassNotFoundException java.lang.IllegalAccessError java.lang.IllegalAccessException java.lang.... java.lang.NoSuchMethodError java.lang.NoSuchMethodException 无明显报错...
FineBI连接MaxCompute
将下载的MaxCompute JDBC驱动JAR包 odps-jdbc-3.2.9-jar-with-dependencies.jar 和Java日志框架JAR包 slf4j-log4j12-1.7.16.jar 放置在新建的 maxcomputedriverlib 文件夹中。步骤二：安装MaxCompute隔离插件 说明 FineBI v6.0及以上版本...
Java SDK
去除SDK无用的Log4j2.xml，防止日志配置冲突。无 1.11.1，2024-02-20 功能名称 变更类型 功能描述 相关文档 K8s任务 新增 支持通过环境变量获取任务参数。无 XXL-JOB日志 新增 支持通过应用隔离。无 问题修复 修复 修复Netty的安全漏洞。...
JDBC常见问题
Logview URL可以通过配置日志输出（properties.log4j），默认以标准输出打印到终端屏幕。MaxCompute JDBC连接读取数据超过1万行限制，如何处理？JDBC连接数据读取及下载是通过Tunnel实现，出于数据安全考虑会对连接的AccessKey进行Download...
发布记录
1.2.3.1 2023-06-14 新增全量日志拦截器，以支持用户通过log4j等工具保存日志。1.2.3 2023-05-15 将 artifactId 由 iot-linkkit-java 变更为 lp-iot-linkkit-java。修复了 deinit 接口调用后线程池未释放的问题。在属性或事件上报的接口中...
OGG for Big Data
一、环境要求 Oracle数据库，19c及以下数据库，版本不可高于源端OGG 源端，Oracle GoldenGate 19.1.0.0 目标端,Oracle GoldenGate for Big Data 19.1.0.0 OGG官方下载地址 备注：本文示例均已OGG19.1为例，其他支持版本可参看文末版本说明 ...
ARMS应用监控支持的Java组件和框架
SpringAsync 4.0.X~5.3.X RxJAVA 2.0.X~3.1.X Reactor 3.0.X~3.5.X 日志框架 Log4j 1.2.16~1.2.17 Log4j2 2.0~2.20.0 Logback 1.0.13~1.4.8 说明 ARMS应用监控针对支持的组件可以实现自动埋点，如果您使用的组件不在上述范围内，可以进行...
OSS SDK使用中常见问题的解决方法
Java 使用Java SDK时报“Connection to XXXX refused”错误 使用Java SDK实现超时以及重传的代码样例 JavaSDK实现数据流分片上传的代码样例 使用Java SDK的ContentMD5提示“log4j”错误 设置跨域规则后调用OSS时仍然报“No 'Access-Control...
教程示例：使用动态配置
业务日志 在代码中，我们还通过 Logger 在 set 和 before/update 中打印了自己的业务日志，根据 log4j 中的路径，业务日志会打印在/home/admin/logs/service/default.log 中。代码解析 DynamicConfig 是一个动态配置类，具有以下特点：是...
开发和调试
说明 如果需要本地调试时输出详细日志，需要在 src 目录下放一个 log4j 的配置文件 log4j.properties_odps_graph_cluster_debug。集群调试 通过本地的调试后，您即可提交作业到集群进行测试。操作步骤如下：配置MaxCompute客户端。使用 add...
采集-多渠道数据
Java程序可以使用Log4J Appender（日志不落盘），LogHub Producer Library（客户端高并发写入），Log4J Appender。C#、Python、Java、PHP、C等可以使用SDK写入。终端用户日志接入 移动端：可以使用移动端iOS SDK，Android或MAN（移动数据...
OGG Adapters
Xmx512m-Dlog4j.configuration=file:{YOUR_HOME}/datahub-ogg-plugin/conf/log4j.properties-Djava.class.path=ggjava/ggjava.jar 修改conf路径下的log4j.properties文件，将{YOUR_HOME}替换为解压后的路径，修改conf路径下的configure.xml...
添加备份网关
部分旧版本备份网关存在Log4j漏洞，具体请参见【漏洞通告】Apache Log4j2 远程代码执行漏洞（CVE-2021-44228/CVE-2021-45046）。建议使用备份网关0.0.129版本以下的用户尽快升级到最新版本，并为物理备份计划重新连接备份网关。升级方法，...
打印UDF日志
部分用户会使用第三方依赖（比如Log4j）打印日志，这就需要用户进行一定的配置，重定向到StdOut和StdErr中，如果将日志打印到文件则无法进行查看。但是Log4j大多会在多个三方依赖中被使用，当多个配置同时存在时，可能导致用户无法确定日志...
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
常见问题
问题原因：Hadoop组件部分依赖库使用Java Logging APIs来生成日志记录，不支持使用log4j配置的日志轮转。目前这些daemon组件的stderr输出被重定向到.out 文件中，没有自动清理机制，长时间积累可能导致数据盘存储空间被占满。处理方法：...
云数据库MySQL
云数据库MySQL节点插入设备的状态，statusCode 的数字含义如下所示，您可根据数字含义进行中文转换之后再插入数据库。0：未激活 1：在线 3：离线 8：禁用 查看云数据库RDS MySQL实例基本信息。参数 参数中可以使用变量，IoT Studio内置了...
ACVIP 问题排查
您可以查询指定时段的 Java 客户端拉取记录，命令如下：tail-n 500 acvip-default.log.2021-05-12|grep java 日志格式如下：如果查询到的结果是空，需要到 ACVIP 服务端增加域名配置。如果网络报错，确认 ACVIP 服务器地址配置是否正确。...
商品属性提取和多模搜索
url)'),PRIMARY KEY(id))PARTITION BY HASH KEY(id)PARTITION NUM 2 CLUSTERED BY(id)TABLEGROUP ads OPTIONS(UPDATETYPE='realtime')插入数据 分析型数据库MySQL版提供两种插入数据的方法。先调用用户自定义函数获取特征向量，然后插入...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（分片集群架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库...
云数据库MongoDB版（副本集架构）同步至函数计算FC
说明 如为增量同步任务，DTS要求源数据库的Oplog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的Oplog日志至少保留7天以上（您可在全量同步完成后将Oplog日志保存时间设置为24小时以上），否则DTS可能因无法获取Oplog...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
基础信息
开发语言 编程语言内嵌的打印日志语句 函数计算提供的日志语句 参考文档 Node.js console.log()context.logger.info()打印日志 Python print()logging.getLogger().info()打印日志 Java System.out.println()context.getLogger().info()...
通过DTS采集数据
本案例采用手动插入数据的方法，但在实际情况中，都是将用户的购买行为，通过程序的方式动态同步到数据库中的。进行数据抽样时，指定的时间必须在您插入数据之前。参考 创建 MySQL 到 MaxCompute 数据实时同步作业 的同步原理章节，了解...
配置ECI连接RDS
如下YAML示例通过环境变量传入数据库连接信息（包括数据库连接地址、端口、名称，以及用户名和密码），使用的镜像包含了一个Python脚本，可以连接数据库并插入数据。apiVersion:v1 kind:Pod metadata:labels:name:rds-test name:rds-test ...
日志备份时报：The transaction log for database xx ...
RDS SQL Server数据库实例进行日志备份时，出现 The transaction log for database xx is full due to 'LOG_BACKUP' 事务日志已满的报错，您可以参照本文进行操作，解决报错问题。问题现象 RDS SQL Server数据库实例进行日志备份时，报 The...
访问RDS PostgreSQL数据库
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
基础信息
开发语言 编程语言内嵌的打印日志语句 函数计算提供的日志语句 参考文档 Node.js console.log()context.logger.info()打印日志 Python print()logging.getLogger().info()打印日志 Java System.out.println()context.getLogger().info()...
访问MongoDB示例
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
OGG for MySQL
Xmx512m-Dlog4j.configuration=file:{YOUR_HOME}/datahub-ogg-plugin/conf/log4j.properties-Djava.class.path=ggjava/ggjava.jar 修改conf路径下的log4j.properties文件，将{YOUR_HOME}替换为解压后的路径 log4j.rootLogger=INFO,fileout ...
开启Oracle归档模式
Oracle数据库的归档模式默认为关闭状态，需将其开启才能进行云备份。本文介绍开启Oracle数据库归档模式的操作方法。以sysdba身份登录Oracle数据库。执行SQL命令 ARCHIVE LOG LIST 查询当前数据库的归档状态。返回示例如下。Database log ...
创建数据库
您可以使用DMS（Data Management Service）、客户端（Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J）、业务系统中的程序代码或者MySQL命令行工具连接 云原生数据仓库AnalyticDB MySQL版 集群，然后通过CREATE DATABASE语句...
从ECS上的自建Redis同步至Redis实例
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
- 产品推荐
- 这些文档可能帮助您