配置HTTP响应头
查找 key 正则表达式查找需要替换的参数值。替换为 abc 正则表达式替换需要替换的参数值。匹配 匹配所有 匹配所有：所有匹配上的值都会被替换。例如 x-code:key1,key2,key3，正则匹配值key替换为abc，替换后的结果为 x-code:abc1,abc2,abc3...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
使用PTS测试AnalyticDB PostgreSQL版实例性能
报告示例如下：切换到 AnalyticDB PostgreSQL版控制台，查看节点监控中 CPU使用率 项目，查看方法，请参见 节点监控。通过上述信息可以看到计算节点的CPU使用率达到了较高的水位。切换到 AnalyticDB PostgreSQL版控制台，查看实例监控中的 ...
XML函数
示例：SELECT xmlcomment('hello');xmlcomment-!hello->xmlconcat xmlconcat(xml[,.])→xml 函数 xmlconcat 将由单个 XML 值组成的列表串接成一个单独的值，这个值包含一个XML内容片段。空值会被忽略，只有当没有参数为非空时结果才为空。...
数据开发与运行
您需要在数据开发界面将该jar作为资源上传到DataWorks，节点使用该jar资源时，您需要先右键目标资源节点>引用资源（会在节点最上方自动多出一条注释），然后直接使用资源名执行。例如：在Shell节点内#resource_reference{"test.jar"} java-...
配置HTTP请求头
查找 key 正则表达式查找需要替换的参数值。替换为 abc 正则表达式替换需要替换的参数值。匹配 匹配所有 匹配所有：所有匹配上的值都会被替换。例如 x-code:key1,key2,key3，正则匹配值key替换为abc，替换后的结果为 x-code:abc1,abc2,abc3...
Echarts 桑基图
数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器，可在 设置数据源 面板配置数据过滤器脚本，详情请参见 过滤器使用说明。数据响应结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 ...
弹性伸缩FAQ
类型 问题 节点自动伸缩常见问题 如何升级cluster-autoscaler至最新版本？cluster-autoscaler可模拟判断的资源有哪些？cluster-autoscaler是否支持自定义资源？如何指定节点不被cluster-autoscaler缩容？如何延迟cluster-autoscaler对不可...
快速使用EMR on ACK
说明 推荐您使用节点池的方式来配置专属节点，如果没有节点池，请创建节点池，详情请参见 创建节点池。节点池相关的信息，请参见 节点池概述。OSS Bucket oss-spark-test 选择已有的Bucket，或者在对象存储OSS控制台新建Bucket。集群名称 ...
代码搜索
DataWorks的代码搜索功能，用于通过关键字搜索节点中的代码片段，并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更，您需要查找操作源（即导致目标表数据变更的任务）时，可以使用该功能。本文以数据开发功能为例，...
2019年
运行安全命令示例 Instance Logview示例 输出错误日志示例 在SQL语句中设置Flag示例 SQLTask配合Tunnel实现大量数据导出示例 2019-05-29 新增Kafka数据迁移至MaxCompute最佳实践。新实践 新增Kafka数据迁移至MaxCompute最佳实践。Kafka数据...
通过函数计算节点发送邮件
本文为您介绍如何在DataWorks中通过函数计算节点调用函数计算服务，并实现发送邮件功能。背景介绍 DataWorks当前已经支持通过函数计算节点调用函数计算服务，在函数计算服务中可以自定义各种功能，最终可通过DataWorks进行调用。前提条件 ...
什么是私网连接
相关主体 相关组件 服务使用方 终端节点 终端节点可用区和网卡 终端节点安全组 服务提供方 终端节点服务 服务资源 服务白名单 终端节点连接 私网连接开通时不产生费用。开通成功后，根据私网连接服务的实际使用量进行计费，按每小时出账。...
弹性伸缩FAQ
节点自动伸缩常见问题 为什么节点自动伸缩组件无法弹出节点？为什么节点自动伸缩组件无法缩容节点？多个伸缩组在弹性伸缩的时候是如何被选择的？什么类型的Pod可以阻止CA移除节点？cluster-autoscaler使用了哪些调度策略来判断不可调度Pod...
EMR Kafka磁盘故障运维
操作步骤 本示例以Broker 0的坏盘/mnt/disk7 为例，介绍如何采用节点间分区迁移的方式进行故障盘运维。分区迁移。以SSH方式登录到源Kafka集群的Master节点，详情请参见 登录集群。可选：待维修磁盘隔离。如果磁盘已经发生故障，您需要执行...
聚合函数
示例 示例一：假设表结构如下，从上往下依次为数据的输入顺序。id name ts geom 1 A 2022-01-01 10:00:00 POINT(0 0)2 B 2022-01-01 10:00:03 POINT(0 1)3 C 2022-01-01 10:00:02 POINT(0 2)执行以下命令，将geom列构建为LineString对象，...
开发获取温度数据的服务
{"table":"maxtemperature","condition":{"where":{"deviceName":"{{payload.DeviceName}}"},"columns":["maxTemperature","dateTime"],"orders":["dateTime"]} } 配置一个Node.js节点，用于筛选指定时间段内的温度数据。本示例中，输入的...
快速入门
PyODPS可在DataWorks等数据开发平台中作为数据开发节点调用。这些平台提供了PyODPS运行环境和调度执行的能力，无需您手动创建ODPS入口对象。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API...
配置行列自动分流
示例1：在下图中，除了主节点外，服务节点还包含1个只读节点（即只读行存节点）和2个只读列存节点。若此时开启自动引流功能，则：写请求将引流至主节点。OLAP类读请求引流至只读列存节点。OLTP类读请求引流至只读行存节点。如果 负载均衡...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建 ACK ...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建ACK集群...
DATASOURCE:EHPC:Nodes
示例 JSON 格式 {"ROSTemplateFormatVersion":"2015-09-01","Parameters":{"ClusterId":{"Type":"String","Description":"The ID of the cluster."} },"Resources":{"Nodes":{"Type":"DATASOURCE:EHPC:Nodes","Properties":{"ClusterId":{...
基于通用保险质检流程创建流程
示例流程节点：示例流程节点中展示的是通用保险质检流程中的所有节点，您可以按需选择目标节点。流程节点选择完成后，单击 确定 按钮，即可添加新的节点。删除流程节点。在通用保险质检流程预置的 10 个节点中，如果您需要删除某一流程节点...
新建Spark Stream类型的公共节点
节点附件 上传 JAR包格式 的节点资源文件。入口类名 Java函数入口类名，用来作为程序入口的运行函数。在编辑页面，单击 图标。在 确认节点信息 对话框中，确认节点标识、节点名称以及节点目录信息设置无误后，单击 确认。单击页面右侧 运行...
基于通用保险质检流程创建流程
示例流程节点：示例流程节点中展示的是通用保险质检流程中的所有节点，您可以按需选择目标节点。流程节点选择完成后，单击 确定 按钮，即可添加新的节点。删除流程节点。在通用保险质检流程预置的 10 个节点中，如果您需要删除某一流程节点...
查看版本
在 数据开发 页面的左侧目录树查找目标节点，双击节点名称即可进入节点编辑页面。查看节点版本与版本回滚 在节点编辑页面，单击右侧导航栏的 版本，即可查看该节点所有历史版本的详情。主要参数说明如下表。参数 描述 变更类型 节点首次...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
新建MaxCompute MR类型的公共节点
节点附件 本地编写完成的算法文件。在编辑页面，以Shell语言编写启动算法文件的脚本内容，单击 图标。说明 以Shell语言编写启动算法文件的脚本，脚本中引用算法文件时，必须包含算法文件的后缀。在 确认节点信息 对话框中，确认节点标识、...
新建Blink类型的公共节点
节点附件 算法文件 是JAR包格式的文件，有以下两种类型：自定义函数文件。创建自定义结果表时所依赖的JAR包。如果该Blink算法需要以自定义结果表来输出数据，则需要上传依赖包。在编辑页面，输入对应的脚本内容，单击 图标。在 确认节点...
新建Flink SQL类型的公共节点
节点附件 上传 JAR包格式 的节点资源文件。在编辑页面，输入对应的脚本内容，单击 图标。在 确认节点信息 对话框中，确认节点标识、节点名称以及节点目录信息设置无误后，单击 确认。（条件必选）如果代码中存在输入、输出或者节点变量，则...
新建Flink Vvp SQL类型的公共节点
节点附件 上传 JAR包格式 的节点资源文件。在编辑页面，输入对应的脚本内容，单击 图标。在 确认节点信息 对话框中，确认节点标识、节点名称以及节点目录信息设置无误后，单击 确认。单击页面右侧 运行配置 页签，选择需要的开发计算引擎。...
ListParts
父节点：ListPartsResult.Part 示例 请求示例 Get/multipart.data?uploadId=0004B999EF5A239BB9138C6227D6*HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Thu,23 Feb 2012 07:13:28 GMT Authorization:OSS qn6q*:77Dv*...
通过Mongo Shell连接MongoDB副本集实例
Mongo Shell不支持ReadOnly ConnectionStringURI连接地址中的 readPreference 和 readPreferenceTags 参数，故使用该地址连接实例时，会将读请求发送到主节点。示例：连接地址为实例的ConnectionStringURI地址，数据库账号为test，所属数据...
代码解析结果对比
开启自动解析时，为保障生产数据产出无误与节点并变更操作过程可控，在节点发布流程中，需要对节点调度变更相关操作进行二次确认，提交节点时将基于代码中表血缘解析当前节点的输入与输出。您可根据代码解析结果，确认节点的上下游依赖是否...
0018-00000107
问题描述 设置自定义域名请求中，DeleteCertificate节点与其他节点存在冲突。问题原因 设置自定义域名请求中，如果已包含DeleteCertificate节点，则不支持同时设置PreviousCertId、CertId、Force、Certificate、PrivateKey节点。问题示例 ...
扩缩容
支持变更为3个查询节点，3个数据节点等 2、如果需要减少查询节点或数据节点数量，请先确保变更后的数量大于等于使用中的查询节点或数据节点数量（控制台会校验并提示）。增加、减少数据节点数量实时生效。示例：当前实例有10个查询节点，有...
多级缓存
当客户端发起访问时，会从最靠近客户端的节点开始找寻缓存内容，如果无法找到，则向更上一层的节点进行查找，当所有层级的节点都未找到要访问的内容时，则回到源站获取内容。通过逐级查找资源，大部分的内容都将在 全站加速 DCDN 全球节点...
0014-00000050
问题描述 PutBucketLifecycle请求的请求体XML中 Transition 节点下同时存在 Days 子节点与 CreatedBeforeDate 子节点。问题原因 PutBucketLifecycle请求中不支持同时指定 Days 和 CreatedBeforeDate 子节点。问题示例 以下请求示例中同时...
配置依赖上一周期（跨周期依赖）
依赖上一周期指本节点本次实例运行，依赖相应节点上一周期实例的运行情况，待上一周期实例运行成功后，本节点才会运行。通常，若本节点需依赖上游昨天产出的数据，或小时、分钟任务依赖自己上一小时或分钟实例，可设置跨周期依赖。本文为您...
使用区块接口
本文通过一个具体配置示例介绍配置完区块中的数据接口、事件接口及动作接口后，如何通过区块编辑器内的蓝图编辑器实现区块内部和外部的数据传输。背景信息 以 区块示例说明 中定义的区块需求为例，在区块编辑器中配置区块接口并使用示例...
- 产品推荐
- 这些文档可能帮助您