搭建Windows开发环境
预期结果示例 java version"1.8.0_361"Java(TM)SE Runtime Environment(build 1.8.0_361-b09)Java HotSpot(TM)64-Bit Server VM(build 25.361-b09,mixed mode)配置Spark环境变量。获取Spark客户端包解压后的路径。编辑Spark环境变量信息。...
Java SDK和Java Agent版本说明
本文记录了Java SDK和Java Agent的版本发布说明。版本说明 本文包含以下Java SDK和Java Agent版本说明：Java SDK AHAS-Sentinel-Client版本说明 Spring-Boot-Starter-AHAS-Sentinel-Client版本说明 Spring-Cloud-Gateway-Starter-AHAS-...
Hive调研工具准备
环境依赖 hive-scaner 运行需要工具服务器拥有Java8的运行环境，您可以通过 java-version 来查看机器的Java版本。运行文件下载 请选择合适的执行文件，下载后上传至跳板机，并解压。系统 安装包 Linux(X86)/Windows(X86)云迁移中心->资源...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
具体操作步骤请参见 创建阿里云Elasticsearch实例 和 配置YML参数。本文以6.7.0版本的实例为例。重要 在生产环境中，建议关闭自动创建索引功能，提前创建好索引和Mapping。由于本文仅用于测试，因此开启了自动创建索引功能。创建与...
使用GitLab CI运行GitLab Runner并执行Pipeline
执行以下命令生成KubeConfig的编码字符串：echo$(cat~/.kube/config|base64)|tr-d""编写.gitlab-ci.yml 编写.gitlab-ci.yml 文件，完成Java Demo源码项目的编译构建、镜像推送和应用部署（可参考gitlabci-java-demo源码项目中的.gitlab-ci....
用户反馈SDK接入体验优化
使用示例 MPush SDK LiveTemplates列表 模板名（shortcut）对应功能 feedback-java-init 初始化代码模板 feedback-java-open 打开反馈模板 feedback-java-unread 获取未读消息数模板 feedback-java-fragment 使用fragment模板 feedback-...
运行失败
因读表失败导致的 java.lang.ArrayIndexOutOfBoundException 报错信息 解决方法 这种情况的原因通常是内部Mapper任务 GeneratePkMapper 依赖读取的一个数组长度未获取到正确数据，通常情况该数组长度是前序的SQL任务通过读表获取的，一般是...
上下游存储
TaskManager发生OOM，源表报错java.lang.OutOfMemoryError:Java heap space 流式数据湖仓paimon 如何设置Paimon源表的消费位点？如何设置分区自动过期？报错：org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Could not ...
Hive作业异常排查及处理
Hive读表或者删除表时报错java.lang.IllegalArgumentException:java.net.UnknownHostException: emr-header-1.xxx 原因分析：当EMR集群使用DLF统一元数据或者统一meta数据库（旧版功能）时，创建的数据库初始路径是EMR当前集群的HDFS路径...
资源中心
支持文件格式：txt、log、sh、bat、conf、cfg、py、java、sql、xml、hql、properties、json、yml、yaml、ini、js。输入 文件内容。单击 保存。已创建的文件支持以下操作。说明 在工作流上线状态下，无法编辑或重新上传已引用的文件，须先将...
概述
本文为您介绍使用Java和Scala语言开发的示例。下载示例工程 MaxCompute Spark提供了项目示例工程模板，建议您下载复制后直接在模板里进行开发。...SQL示例（Java）从MaxCompute中读取数据写入HBase 读写OSS文件 读MaxCompute写OSS
服务端集成
打开源码 Server\Java\code\src\main\resources 目录下的 application.yml 文件，配置相关参数。参数配置信息 说明#DB连接信息，连接到MySQL数据库 url:jdbc:mysql:/*:3306/*?useUnicode=true&characterEncoding=UTF-8&useSSL=false&...
服务端集成
打开源码 Server\Java\code\src\main\resources 目录下的 application.yml 文件，配置相关参数。参数配置信息 说明#DB连接信息，连接到MySQL数据库 url:jdbc:mysql:/*:3306/*?useUnicode=true&characterEncoding=UTF-8&useSSL=false&...
配置YML文件
如果您需要通过参数设置来控制阿里云Logstash执行的任务，可通过Logstash的配置YML文件功能，修改YML文件的参数。注意事项 在修改YML参数配置时，请注意：为了方便后续排查与定位阿里云Logstash问题，YML文件配置中默认开启了慢日志，请...
管理其他云厂商服务的数据接入任务
java-jar target/cloudwatch_exporter-0.9.0-jar-with-dependencies.jar 9106 example.yml 显示如下信息，说明Exporter安装成功。2021-06-11 03:24:55.743:INFO:main:Logging initialized@1775ms to org.eclipse.jetty.util.log.StdErrLog ...
使用BizWorks Toolkit注意事项
语言限制 需支持Java语言。modules.yaml（适用于0.12.0之前版本）或 bizworks.yml（适用于0.12.0版本及之后的版本）项目需存在配置正确的 modules.yaml（适用于0.12.0之前版本）或 bizworks.yml（适用于0.12.0版本及之后的版本）文件。更多...
采集器YML配置
通过采集器YML配置，您可以根据需求修改对应的配置，并启用该配置，完成数据采集任务。本文介绍采集器YML文件的配置方法和配置参数详情。前提条件 创建阿里云Elasticsearch实例，并开启实例的 自动创建索引 功能。创建实例的具体步骤请参见...
Curator操作指南
执行curator命令时需要指定config.yml文件和action.yml文件，详情请参见 config.yml官方文档 和 action.yml官方文档。冷热数据分离实践 详细操作方法请参见 使用Curator进行冷热数据迁移。将索引从hot节点迁移到warm节点 在/usr/curator/...
配置YML参数
通过配置阿里云Elasticsearch实例的YML参数，您可以设置允许自动创建索引、删除索引指定名称、配置Auditlog索引、开启Watcher以及其他配置。本文介绍如何配置YML参数、CORS访问、reindex白名单、Auditlog和queue大小。注意事项 2020年10月...
SSL接入点PLAIN机制收发消息
本文以Java SDK为例介绍如何在公网环境下使用SDK接入 云消息队列 Kafka 版 的SSL接入点并使用PLAIN机制收发消息。前提条件 步骤三：创建资源 安装1.8或以上版本JDK 安装2.5或以上版本Maven 安装Java依赖库 在 pom.xml 中添加以下依赖。...
java_io_FileNotFoundException
} 示例：java.io.FileNotFoundException:/proc/mtprof/status:open failed:ENOENT(No such file or directory)at libcore.io.IoBridge.open(IoBridge.java:496)at java.io.FileInputStream.(FileInputStream.java:76)at java.io....
Custom Runtime支持Loggie Agent日志扩展
创建pipelines.yml文件 mkdir-p/tmp/log/code/etc cat<< EOF >/code/etc/pipelines.yml pipelines:name:demo sources:type:file name:fc-demo addonMeta:true fields:topic:"loggie"fieldsUnderRoot:true paths:"/tmp/log/*.log"sink:type:...
Custom Runtime支持Loggie Agent日志扩展
创建pipelines.yml文件 mkdir-p/tmp/log/code/etc cat<< EOF >/code/etc/pipelines.yml pipelines:name:demo sources:type:file name:fc-demo addonMeta:true fields:topic:"loggie"fieldsUnderRoot:true paths:"/tmp/log/*.log"sink:type:...
修改采集器配置
请根据业务需求，修改采集器YML文件的配置，详情请参见 采集器YML配置。重要 指定 采集器Output 后，不需要再在 采集器YML配置 中单独设置Output，否则会提示ECS采集器安装错误。单击 保存。保存后，采集器状态变为生效中。等待状态变为已...
Kubernetes中的通用数据库审计部署方案
vim packetbeat.yml 在 packetbeat.yml 文件中添加如下脚本，并根据实际情况设置其中的参数。说明 packetbeat.flows用于抓取网络设备的所有流量。如果不需要，可添加 enabled:false，以减少数据的传输。packetbeat.interfaces.device:any#...
更新专有版集群即将过期的证书
s/${hostname}/hostname/g' job-master.yml>job-master2.yml 其中：${jobname} 为Job的名称，此处设置为 cert-job-2。{hostname} 为集群Master节点的名称，此处请将 hostname 替换为步骤2中查看到的Master名称。执行以下命令创建Job。...
ES单点登录认证
elasticsearch.yml配置文件内容 云原生管控下创建的ES实例（Kibana端口为443）#elasticsearch.yml配置 xpack.security.authc.token.enabled:'true' xpack.security.authc.realms.saml.saml1:order:2 idp.metadata.path:saml/metadata.xml ...
使用canal同步
task 是 mytest.yml 任务配置文件的名称，必须与 步骤二：部署Client-Adapter 中创建的.yml格式的文件名称相同。全量数据同步开始后，您可以在日志中查看Adapter中TablestoreWriter的传输日志变化，如下图所示。源表和目标Tablestore表中...
Java API Client(8.x)
背景信息 Elasticsearch在7.17版本之前使用的Java客户端是Java REST Client，从7.17版本开始Elastic官方将Java REST Client标记为弃用（deprecated），并推荐使用新版Java客户端Java API Client。Java API Client简介 Java API Client是...
配置BizWorks Toolkit（适用于0.12.0版本及之后的版本...
使用BizWorks Toolkit插件前您需要完成相关配置，例如：基础信息配置、代码配置、双向联动配置和bizworks.yml配置等。配置基础信息 打开IDEA，在顶部导航栏选择 File>Settings。BizWorks Toolkit插件的一些基础配置，例如，是否使用...
Davinci连接MaxCompute
如果您按照Docker方式安装Davinci，需要先手动创建一个数据源配置文件datasource_driver.yml，使用命令 vim docker-compose.yml 打开配置文件，配置如下。volumes:%odps-jdbc-x.x.x-jar-with-dependencies.jar所在路径%odps-jdbc-x.x.x-jar...
使用ali_ros_stack模块删除资源栈
vi delete_vpc.yml 在编辑模式下，将以下完整的playbook示例代码粘贴到 delete_vpc.yml文件中。说明 ali_ros_stack模块参数详情，请参见 参数说明。hosts:localhost remote_user:root tasks:name:Changed.Delete Ros Stack ali_ros_stack:...
OSS 镜像管理
运行命令安装 docker pull registry:2 docker run-v `pwd`/config.yml:/etc/docker/registry/config.yml-p 5000:5000-name registry-d registry:2 注意：region 使用 oss-cn-shenzhen,表示使用华南1（深圳）region 的 OSS，而后面提交作业...
管理微服务配置与Kubernetes ConfigMap
demo-data-id1.properties:|demo-key=demo.value demo-key2=demo.value2 demo-data-id2.yml:|app:name:demo-app-name 其中 nacosServer 下的 namespace 需替换为您当前Region的所属微服务空间ID，获取方式：登录 EDAS控制台。在左侧导航栏...
Aliyun Serverless VSCode Extension插件
Aliyun Serverless VSCode Extension是一款...在 template.yml 中，将鼠标悬浮在相关资源的键名上，会出现关于该键下可配置字段的悬浮信息展示（字段名、字段类型、文档地址）。反馈 如果您在使用中遇到问题，联系我们 或在 github 中反馈。
通过Metricbeat收集系统数据及Nginx服务数据
勾选 启用Kibana Dashbord，系统会在Kibana控制台中生成图表，无需额外配置Yml。由于阿里云Kibana配置在VPC内，因此需要先在Kibana配置页面开通Kibana私网访问功能，详情请参见 配置Kibana公网或私网访问白名单。由于系统默认开启了system...
采集ECS服务日志
具体操作，请参见 配置YML参数。创建ECS实例，且该ECS实例与Elasticsearch实例或Logstash实例处于同一专有网络下。创建实例时，请选择 Alibaba Cloud Linux(Alinux）、RedHat或CentOS这三种操作系统，因为Beats仅支持这三种操作系统。具体...
CDC问题
在MySQL CDC在做全量读到增量读的切换时，如果全量读是多并发，则在进入增量前要多等一个Checkpoint，来确保全量的数据已经写入到下游后再读取增量数据，从而保证数据的正确性。如果您设置的Checkpoint间隔时间比较大，例如20分钟，则会...
虚拟线程
795)java.base/java.lang.Thread.sleepNanos(Thread.java:489)java.base/java.lang.Thread.sleep(Thread.java:522)Test.lambda$simple$1(Test.java:16)java.base/java.util.concurrent.FutureTask.run(FutureTask.java:317)java.base/java....
Low Level REST Client(5.x)
本文基于Java Low Level REST Client 5.x版本，为您介绍Elasticsearch Java API的用法。注意事项 本文提供的Low Level REST Client示例主要适用于阿里云Elasticsearch 5.5.3版本，不适用于6.3.2版本。如果您的Elasticsearch实例是6.3.2版本...
- 产品推荐
- 这些文档可能帮助您