OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
自定义资源组
如何处理数据集成自定义资源组DataX组件log4j问题？如何安装监控？如果使用自定义调度资源组出现问题，需要首先确认Agent是否安装监控。操作如下所示：登录机器，切换至有权限账号下。执行下述命令。wget ...
物化视图操作
当源表数据量很大时，查询速度会很慢。操作复杂度较高，运行效率低。查询涉及读表、过滤操作。不涉及JOIN操作。MaxCompute会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率。物化视图相关操作命令如下。类型 ...
QueryMetricByPage-查询监控指标
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
QueryMetricByPage-查询监控指标
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。资源类型：是指操作中支持授权的资源类型。具体说明如下：对于必选的资源类型，用背景高亮的方式表示。对于不支持资源级授权的操作，用 全部资源 ...
Java SDK
不强依赖log4j2，如果用户使用的是logback，可以把log4j和log4j2依赖移除。无 1.2.4.3，2021-1-21 变更类型 功能描述 相关文档 新增 广播任务运行中支持进度汇报。心跳日志可以通过开关关闭。无 优化 心跳间隔调整为10秒。修复广播任务有...
EMR-3.22.x版本说明
Flink log4j日志回滚。Kafka log4j日志回滚。升级fastjson。Zeppelin 升级依赖的commons-lang3包到3.7版本，修复pyspark无法写OSS的问题，详情请参见 Spark 2.4 incompatibility with commons-lang3 in Zeppelin。Ranger 增加Show grants...
使用EDAS后Log4j日志被覆盖导致Log4j日志无法正常输出
问题描述 使用EDAS后，Log4j日志无法正常输出。问题原因 Log4j日志被覆盖，导致日志无法正常输出。解决方案 将配置文件由默认名称改成其它名称。说明 Log4j如果使用默认名称，Log4j会被自动屏蔽。配置Spring的Log4jConfigListener内容，在 ...
常见问题
log4j.rootCategory=WARN,console 修改Spark服务 spark-defaults.conf 配置文件中的配置项 spark.driver.extraJavaOptions，将参数值中的-Dlog4j.configuration=etc/taihao-apps/spark-conf/log4j.properties 替换为-Dlog4j.configuration=...
Android端直接调用
1、see https://help.aliyun.com/document_detail/153132.html for sdk implementation("com.aliyun:ocr20191230:1.0.23"){ exclude group:'xml-apis',module:'xml-apis' exclude group:'dom4j',module:'dom4j' } 说明 本文以银行卡识别...
常见问题
358).11 more OSS Java SDK依赖下列包：aliyun-sdk-oss-2.2.1.jar hamcrest-core-1.1.jar jdom-1.1.jar commons-codec-1.9.jar httpclient-4.4.1.jar commons-logging-1.2.jar httpcore-4.4.1.jar log4j-1.2.15.jar 其中log4j-1.2.15.jar是...
版本说明
目前，技术栈架构下的技术栈为 SOFABoot，版本详情如下：版本号 JDK 版本 版本说明 1.1.1-j180t...1.0.4-j180t2114 JDK 8 内置 JDK 8、Tengine 2.1.14、cronolog-1.7.0。2.0-j170t2114 JDK 7 内置 JDK 7、Tengine 2.1.14、cronolog-1.7.0。
开发和调试
commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api-1.0.4.jar guava-14.0.jar json.jar log4j-1.2.15.jar slf4j-api-1.4.3.jar slf4j-log4j12-1.4.3.jar xmlenc-0.52.jar ...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
JDBC常见问题
Logview URL可以通过配置日志输出（properties.log4j），默认以标准输出打印到终端屏幕。MaxCompute JDBC连接读取数据超过1万行限制，如何处理？JDBC连接数据读取及下载是通过Tunnel实现，出于数据安全考虑会对连接的AccessKey进行Download...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
监控告警与日志问题
例如，设置Kafka Connector相关的 log4j.logger.org.apache.kafka.clients.consumer=trace（源表）和 log4j.logger.org.apache.kafka.clients.producer=trace（结果表）参数时，需要在 Log Levels 中配置，不能在 其他配置 中配置。...
2020年
客户端发布记录 1.2.3.1，2020-12-16 变更类型 功能描述 相关文档 优化 优化问题：调整默认依赖的log4j2至2.15.0版本。无 变更类型 功能描述 相关文档 优化 优化客户端负载高把任务调度长连接打挂，导致任务无法继续调度的问题。无 1.2.2.2...
什么是应用防护
不安全的log4j配置 高危 您的log4j组件开启了lookup功能，攻击者可能通过该功能进行JNDI注入，从而造成远程代码执行漏洞。请升级log4j到最新版本，或删除Jar包中的org/apache/logging/log4j/core/lookup/JndiLookup.class文件。更多信息，...
历史记录
不强依赖log4j2，如果用户使用的是logback，可以把log4j和log4j2依赖移除。1.2.4.3，2021-1-21 新特性 广播任务运行中支持进度汇报。心跳日志可以通过开关关闭。问题修复 修复广播任务有可能卡住的严重问题。优化 心跳间隔调整为10秒。1.2....
协同消费
public static void main(String[]args)throws Exception {/是否开启内存Metric，开启后，配置log4j日志后，内存metric会打印到日志中/ClientMetrics.startMetrics();以杭州Region为例 String endpoint=...
SDK概述
解决Spark作业打印的Log4j异常输出的问题。v1.1.2 解决作业慢读写OSS出现的 ConnectionClosedException 问题。解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持...
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
读取优化
HBase在生产中往往会遇到Full GC、进程OOM、RIT问题、读取延迟较大等一些问题，使用更好的硬件往往可以解决一部分问题，但是还是需要使用的方式。我们把优化分为：客户端优化、服务端优化、平台优化（ApsaraDB for HBase）客户端优化 get...
开发自定义组件示例
import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.util.List;import java.util.Random;import java.util.stream.Collectors;import java.util.stream.IntStream;用户入口类ReaderDemo*该类必须继承自...
开发自定义组件示例
import org.slf4j.LoggerFactory;import java.util.List;import java.util.Random;import java.util.stream.Collectors;import java.util.stream.IntStream;用户入口类ReaderDemo*该类必须继承自...
读写数据
读写数据 用户可以调用SDK方法进行读写数据状态为CLOSED和ACTIVE的shard都可以读取数据，不过只有状态为ACTIVE的shard可以写数据。同时用户可以引入datahub-client-library依赖，datahub-client-library是在Java-SDK读写功能的封装，用户...
TensorFlow常见问题
本文为您介绍TensorFlow的相关问题。如何开通深度学习功能？如何支持多Python文件引用？如何上传数据到OSS？如何读取OSS数据？如何为OSS写入数据？为什么运行过程中出现OOM？TensorFlow有哪些案例？如何查看TensorFlow相关日志？配置两个...
方案设计
另一方面，如果我们把一个平面的格点数据存储到一列中，在整读整取时效率比较高，但是如果只读取某个点，就会读取很多的无效数据，效率又会变得比较低。因此我们采取一种折中的方案，对平面的二维数据再次进行切分，切分成更小的平面数据块...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
DescribeGlobalSecurityIPGroup-查询全局IP白名单模板
[dds-asdxxxx,dds-afrexxxxxx]示例 正常返回示例 JSON 格式 {"RequestId":"72651AF9-7897-41A7-8B67-6C15C7F26A0A","GlobalSecurityIPGroup":[{"GlobalSecurityGroupId":"g-sdgwqyp4f5j1x3qk7yvm","GlobalIgName":"dev_baoxian_k8s_bj",...
MySQL
与旧的快照读取相比，增量快照有很多优点，包括：读取全量数据时，Source可以是并行读取。读取全量数据时，Source支持chunk粒度的检查点。读取全量数据时，Source不需要获取全局读锁（FLUSH TABLES WITH read lock）。如果您希望Source支持...
PolarDB PostgreSQL版架构介绍
基于Shared-Storage，主节点和多个只读节点共享一份存储数据，主节点刷脏不能再按照传统的刷脏方式，否则会导致以下问题：只读节点在存储中读取的页面，可能是比较老的版本，不符合当前的状态。只读节点读取到的页面比自身内存中想要的数据...
表设计
假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在明显瓶颈。在某些数据处理场景下，热点或者数据分布不均会导致明显的长尾效应，拖慢整体速度。某个数据系统或者模块往往仅仅是整个业务...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
PolarDB PostgreSQL版架构介绍
基于Shared-Storage，主节点和多个只读节点共享一份存储数据，主节点刷脏不能再按照传统的刷脏方式，否则会导致以下问题：只读节点在存储中读取的页面，可能是比较老的版本，不符合当前的状态。只读节点读取到的页面比自身内存中想要的数据...
- 产品推荐
- 这些文档可能帮助您