通用功能插件
选项 说明 脚本内容 用于输入自定义的Shell脚本。脚本执行目录 用于输入执行自定义Shell脚本的本地目录。上传产物 用于收集构建产物。选项 说明 路径 用于设置从根目录到构建产物存储目录的相对路径。说明 该选项须按照实际情况进行设置。...
应用采集
集中收集各应用Agent传输过来的数据，并进行脱敏、加工。应用采集可以完成：采集应用访问的SQL与调用栈信息。收集应用运行性能信息。应用采集不能完成：非Oracle数据库或非Java应用暂不能采集。无数据库请求的监控不到，比如采集周期内未...
配置H5构建流水线
安装modules 用于安装node_modules 选项 说明 脚本内容 用于输入自定义的Shell脚本。已默认相关命令。脚本执行目录 用于输入执行自定义Shell脚本的本地目录。默认为代码根目录。执行构建 编译H5应用 选项 说明 脚本内容 用于输入自定义的...
FS-文件系统
len Number 否 读取内容的长度。mode String 否 读取文件内容返回格式不填此参数返回为String数组，填入 'b' 为字节数组。返回 返回值 说明 data Array类型，读取到的数据。fs.unlinkSync(String path)删除对应PATH的文件。入参 属性 类型 ...
配置HarmonyOS构建流水线
选项 说明 脚本内容 用于输入自定义的Shell脚本。在HarmonyOS模板中，已填充默认的构建命令，可自行修改。脚本执行目录 用于输入执行自定义Shell脚本的本地目录。不填写默认代码根目录。上传app构建产物 在HarmonyOS场景下，用于收集后缀为...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
Linux实例
在Shell脚本的前面通过.命令或者Bash解释器特有的 source 命令加载指定的环境配置和初始化相关的启动文件，无需单独处理每个不存在的变量，示例如下：.命令：#!bin/sh./etc/profile source 命令#!bin/bash source$HOME/.bashrc 方法二：在...
创建EMR Shell节点
通过自定义编辑Shell脚本，您能够进行数据处理、调用Hadoop组件、操作文件等高级功能。本文介绍了如何在DataWorks里配置和使用EMR Shell节点，以便您编辑和运行Shell脚本。背景信息 本节点支持使用OSS REF方式引用OSS资源，详情请参见 方案...
K8s任务
创建K8s任务 Shell脚本 如果想通过Pod运行Shell脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Shell-Script，镜像默认是busybox（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动...
使用ECI搭建WordPress应用
ECI支持使用Cloud Shell来管理。本文以搭建WordPress应用为例，介绍如何使用Cloud Shell来创建 ACK Serverless集群，并快速创建ECI实例来部署容器应用。背景信息 WordPress是使用PHP语言开发的博客平台，在支持PHP和MySQL数据库的服务器上...
创建自定义组件
附录2：自定义组件实现原理 如何读取管道及超参数据 读取输入管道数据 对于每一个输入管道的数据，会以 PAI_INPUT_{CHANNEL_NAME} 的环境变量注入到训练作业的容器中。例如自定义组件有train、test两个输入管道，其值分别为：oss:/...
云安全中心反弹Shell多维检测技术详解
第二类反弹Shell：通过管道、伪终端等中转，再重定向Shell的输入输出到中转 此类反弹Shell借助管道、伪终端等进行中转，例如下面这个典型案例将 sh-i 的标准输入、标准输出、标准错误重定向到命名管道/tmp/f，同时加密通信数据也流向该命名...
MaxCompute数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
PolarDB PostgreSQL版架构介绍
T5时刻，再次从只读节点上发起读取P1操作，由于内存中已经将P1淘汰掉了，因此从Shared-Storage上读取，此时读取到了 过去页面 的内容。过去页面的解法 只读节点在任意时刻读取页面时，需要找到对应的Base页面和对应起点的日志，依次回放。...
配置脚本代码节点
说明 您也可以通过Shell脚本调度其他程序，在其他程序中实现其各类脚本文件的调度。脚本文件名只能包含字母、数字、下划线（_）和半角句号（.）。步骤1：创建数据库网关 在脚本文件所在设备上创建数据库网关，并将脚本文件放在dg_scripts...
DBMS_PIPE
参数说明 参数 说明 pipename 目标管道的名称 示例 该示例展示了如何清除命名管道中的内容。CALL DBMS_PIPE.PURGE('messages');RECEIVE_MESSAGE Function 该函数用于将命名管道中的消息复制到本地缓冲区。语法 DBMS_PIPE.RECEIVE_MESSAGE...
插件配置概述
阿里云Logstash支持100余款系统默认插件，包含开源和自研Logstash插件，能够提升集群在数据传输和处理、日志调试等各方面的能力。本文介绍阿里云Logstash支持的系统默认插件。阿里云Logstash仅支持系统默认插件，不支持自定义插件。系统...
前言
BucketLifecycle.php 设置、读取和清除存储空间的 生命周期 BucketLogging.php 设置、读取和清除存储空间的 访问日志 BucketReferer.php 设置、读取和清除存储空间的 防盗链 BucketWebsite.php 设置、读取和清除存储空间的 静态网站托管 ...
RunCommand-一台或多台灵骏机器中执行一段Shell的脚本
一台或多台灵骏机器中执行一段Shell的脚本。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 ...
检测攻击类型说明和防护建议
任意文件读取 对于网站提供的文件下载和读取功能，如果是直接通过绝对路径或目录穿越符对文件进行读取和下载，没有相关文件路径的限制，那么，攻击者就可以利用这种方式获取敏感信息，对服务器进行攻击。请检查文件读取操作是否正常。如果...
阿里云Elasticsearch数据采集解决方案
Beats有多种风格，可以收集不同类型的数据：Filebeat Filebeat支持从文件形式的数据源中读取、预处理和传输数据。虽然大多数用户使用Filebeat来读取日志文件，但它也支持非二进制文件格式。Filebeat还支持多种其他数据源，包括TCP/UDP、...
SELECT TRANSFORM
using 子句的格式和Shell语法类似，但并非真的启动Shell来执行，而是直接根据命令的内容创建子进程。因此，很多Shell的功能不能使用，例如输入输出重定向、管道、循环等。如果有需要，Shell本身也可以作为子进程命令来使用。resources 子句...
SELECT TRANSFORM
using 子句的格式和Shell语法类似，但并非真的启动Shell来执行，而是直接根据命令的内容创建子进程。因此，很多Shell的功能不能使用，例如输入输出重定向、管道、循环等。如果有需要，Shell本身也可以作为子进程命令来使用。resources 子句...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
COPY
COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY TO 也能复制一个 SELECT 查询的结果。如果指定了一个列列表，COPY TO 将只把指定列的数据复制到文件。对于 COPY ...
FTP数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
通过Logstash将RDS MySQL数据同步至Elasticsearch
如果您需要将RDS MySQL中的数据同步到阿里云Elasticsearch中，可使用阿里云Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），通过管道配置将全量或增量数据实时同步至阿里云Elasticsearch中。本文介绍具体的实现方法。背景信息...
Query Profile介绍
Operator 单击Operator，可以在页面右侧查看以下内容：节点 页签：展示该Operator的核心指标。节点详情 页签：展示该Operator的所有指标。Pipeline 页签：展示该Operator所属Pipeline指标。该页签的指标仅与调度相关，您无需过多关注。说明...
常见问题
您在使用数据传输服务DTS（Data Transmission Service）时。如果收到DTS返回的错误信息，可查阅 常见报错 匹配解决方案。如果您没有收到具体的错误信息，请根据问题分类匹配问题和解决方案。问题分类 常见问题分为如下几种类型：计费问题 ...
产品优势
加速访问 互联网访问加速：提供传输加速服务，可优化互联网传输链路和协议栈，大幅减少数据远距离传输超时的比例，极大地提升用户上传和下载体验。更多信息，请参见 传输加速。内容加速分发：OSS作为源站，搭配CDN进行内容分发，提升同一个...
低成本跨境文件传输
本文介绍如何通过OSS加速域名，配合函数计算和 Serverless 工作流，快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定程度的...
低成本跨境文件传输
本文介绍如何通过OSS加速域名，配合函数计算和 Serverless 工作流，快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定程度的...
UTL_ENCODE
UTL_ENCODE内置包提供了一组进行数据编解码的函数，方便数据在不同主机之间的传输。UTL_ENCODE子程序总览 子程序 描述 BASE64_DECODE Function 读取BASE64编码的RAW类型输入数据，并将其解码为原始的RAW类型数据。BASE64_ENCODE Function ...
API概览
区块链查询接口 接口 描述 QUERYRECEIPT 读取指定的交易回执 QUERYTRANSACTION 读取指定的交易内容 QUERYBLOCK 读取指定的区块基础（块头）信息 QUERYLASTBLOCK 读取最近区块基础（块头）信息 QUERYBLOCKBODY 读取指定的区块数据内容 ...
低成本跨境文件传输
本文介绍如何通过 Serverless 工作流、函数计算、对象存储、专用网络、云服务器及弹性公网IP的组合方案，实现低成本跨境文件的传输。应用场景 跨境对象存储数据传输。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
操作汇总
GetStreamRecord：读取当前Shard的增量内容。索引操作 CreateIndex：在指定的数据表上创建索引表。DropIndex：在指定的数据表上删除索引表。时序模型 分类 API描述 时序表操作 CreateTimeseriesTable：创建一张时序表。创建时序表时支持...
节点运行ECS机器上的脚本
本实践通过在节点中使用Python第三方模块 Paramiko，实现远程连接ECS并调用ECS上指定路径的Shell脚本执行，同时，提供两类节点登录ECS的代码示例。注意事项 通过DataWorks节点运行ECS机器上的脚本，当DataWorks侧对应节点终止运行时，已经...
- 产品推荐
- 这些文档可能帮助您