在DTS迁移或同步任务中配置ETL
DSL的介绍及配置语法，请参见 数据处理DSL语法简介。DTS支持通过以下两种方式配置ETL。说明 DTS迁移任务和同步任务中均支持配置ETL，本文以同步任务为例，迁移任务的配置方法相同。在创建同步任务时配置ETL 在已有同步任务上修改ETL配置 ...
数据加工概述
费用说明 若Logstore的计费模式为按写入数据量计费时，数据加工服务不产生费用，仅从日志服务公网域名所在接口拉取数据时，会产生外网读取流量（按照压缩后的数据量计算）。具体内容，可参见 按写入数据量计费模式计费项。若Logstore的计费...
普通数据变更
规则DSL（必填）输入如下规则DSL：if@fac.env_type in['product','pre']and@fac.sql_type in['DELETE']then@act.mark_risk 'high' '高风险：线上环境，生产环境,DELETE语句为高风险操作' end 单击 提交。单击 生产环境，DELETE语句为高风险...
告警资源数据结构
DSL语法说明 简单的DSL配置示例如下所示。重要 DSL配置复杂，建议您先在控制台完成配置，然后查看Network请求所发送的Payload内容。设置路由合并策略 控制台配置 DSL配置 if alert.severity>=8:fire(action_policy="sls.builtin",group={...
语言简介
日志服务语言SLS DSL（Domain Specific Language）是日志服务数据加工使用的与Python兼容的脚本。SLS DSL基于Python语言开发，提供两百多个内置函数来简化数据加工任务。自由编排 通过SLS DSL自由编辑函数，对各种逻辑进行复杂组合，可以...
基础语法
本文介绍SLS DSL的基础语法。注释 对语法进行解释说明，需要以井号（#）开头。示例如下：#设置日志的默认主题（放在行首的注释）。e_set("_topic_","access_log")#设置日志的默认主题（放在行尾的注释）。换行 函数调用的参数列表过长时，...
事件判断
场景1：判断字段是否存在 原始日志 a:a_value b:/空字符串 SLS DSL编排 方案一（推荐）：采用 e_has 或 e_not_has。e_if(e_has("a"),e_set("has_a",true))e_if(e_has("b"),e_set("has_b",true))e_if(e_has("c"),e_set("has_c",true))e_if(e...
目标Logstore输出错误
LOG DSL引擎每次读取一个批次的源日志（从1条到近万条不等），数据加工后，并不是加工一条日志就输出一条，而是会先将加工好的数据存放在一个缓存池中，等源数据批次处理完，再一起输出。该环节产生错误主要是由于对目标Logstore的访问异常...
特定格式文本数据加工
本文档将从工单需求，加工编排等方面介绍如何使用LOG DSL编排解决任务需求。场景：非标准JSON对象转JSON展开 需要对收集的dict数据进行二次嵌套展开操作。首先将dict数据转成JSON数据，再使用 e_json 函数进行展开即可。原始日志 content:{...
解析Syslog标准格式数据
本文档介绍如何使用SLS DSL中的GROK函数高效快捷地解析不同格式的Syslog日志。概况 在Unix类操作系统上，Syslog广泛应用于系统日志。Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备...
Gremlin兼容性
DSL使用限制 图数据库GDB Gremlin在DSL的使用规则上与TinkerPop的差异如下：所有的DSL必须以内置的变量g开头，该变量等同于TinkerPop中的 Graph.traversal()。不支持对于查询策略的控制，所有查询优化由图数据库GDB内置自动执行。点和边的...
在DMS中执行SQL语句后出现“禁止未知SQL执行”报错
if@fac.sql_type in['INSERT','INSERT_SELECT','REPLACE','REPLACE_INTO','UPDATE','DELETE','MERGE','REMOVE','EXEC']then@act.allow_execute_direct end 说明：DMS定义了一套领域专用语言DSL（Domain Specific Language）用来描述安全...
库表同步
规则DSL（必填）填写规则DSL，DSL语法请参见 安全规则DSL语法。（如您在 模板库 中选择了规则模板，此处会自动填充。单击 提交。新增的规则默认处于 已禁用 状态，单击规则右侧 操作 列中的 启用。在弹出的对话框中单击 确认。
表结构设计规范
DSL规则语法如下：if@fac.table_kind='new' and@fun.array_size(@fun.extract_column_by_name(@fac.table_column_array,['id','gmt_create']))[研发规范]新建表必须存在以下字段：id,gmt_create，不符合研发规范"end 单击 提交。...
基本概念
SLS DSL SLS DSL（Domain Specific Language）是日志服务数据加工使用的一种Python兼容的脚本语言。SLS DSL基于Python提供内置两百多个函数，简化常见的数据加工模式。也支持用户自定义的扩展Python脚本。更多信息，请参见 语言简介。加工...
使用Elasticsearch SDK访问日志服务
format":"epoch_millis"} } }]} } })print(json.dumps(r,indent=4))ElasticSearch-DSL方式 访问示例 ElasticSearch-DSL（ElasticSearch Domain Specific language）是ElasticSearch搜索数据的语法，简称DSL。为了避免手动组装...
加工规则错误
对于WARNING级别的错误（例如某些事件与正则规则不匹配），会跳过当前DSL的这一步，进行下一步。错误排查方法 查看错误日志的 logging.levelname 字段，确定日志的错误级别。查看错误日志的 message 字段，定位是哪些日志事件报错。具体请...
在Jenkins中使用SAE插件构建应用部署的任务
本文介绍如何通过不同方式在Jenkins控制台生成部署任务并应用到 SAE，包括创建Freestyle project任务、使用流水线插件、使用Maven，以及使用Job DSL插件。前提条件 已创建SAE应用。已安装Jenkins。仅支持Jenkins 2.303及以上版本。准备工作...
Go
make(map[string]interface{})bindings["GDB_id"]="gdb_vertex_test_id"bindings["GDB_label"]="gdb_vertex_test_label"bindings["GDB_PK"]="name"bindings["GDB_PV"]="Jack"dsl:="g.addV(GDB_label).property(id,GDB_id).property(GDB_PK...
向量检索版RESTFUL API语法说明
为了减少用户的问天引擎DSL的学习成本，在原生DSL的基础之上我们对齐进行了升级，提供简单易用的rest api。查询语法 curl-X POST"http://{endpoint}/{table_name}/search" -H 'Content-Type: application/json' -d' { "query": "","filter...
召回引擎版RESTFUL API语法说明
为了减少用户的问天引擎DSL的学习成本，在原生DSL的基础之上我们对齐进行了升级，提供简单易用的rest api。查询语法 curl-X POST"http://{endpoint}/{table_name}/search" -H 'Content-Type: application/json' -d' { "query": "","filter...
常见问题
此外，需要注意的是，单个DSL的事务存在64M总Buffer大小的限制，如果超出将会失败（清空测试数据可以使用数据删除工具，工具详情请参见 GDB数据删除工具）。实例规格 问：图数据库GDB支持变更实例规格吗？答：高可用版本支持变更实例规格，...
ListKibanaPlugins
description String Customize DSL statements to query data.插件描述。specificationUrl String https://xxxx 插件简介地址，支持null。state String INSTALLED 插件安装状态。返回值如下：INSTALLED：已安装 UNINSTALLED：未安装 ...
管理RAM账号
✔️ ❌ ❌ 查看Spark代码信息 ✔️ ✔️ ✔️ 查看湖仓列表 ✔️ ✔️ ✔️ 创建湖仓 ✔️ ❌ ❌ Dump湖仓DSL描述 ✔️ ❌ ✔️ 查看湖仓相关所有表进度 ✔️ ✔️ ✔️ 查看Workload列表 ✔️ ✔️ ✔️ 创建Workload ✔️ ❌ ❌ 删除...
在Jenkins中使用EDAS插件构建应用部署的任务
本文介绍了在Jenkins控制台的白屏化部署过程，使用流水线的部署步骤以及使用Job-dsl的任务模板来快速生成部署任务的简介。前提条件 已安装Job-dsl插件。安装edas-jenkins-plugin 下载 edas-jenkins-plugin安装包。登录Jenkins首页，单击 ...
在Jenkins中使用EDAS插件构建应用部署的任务
本文介绍了在Jenkins控制台的白屏化部署过程，使用流水线的部署步骤以及使用Job-dsl的任务模板来快速生成部署任务的简介。前提条件 已安装Job-dsl插件。安装edas-jenkins-plugin 下载 edas-jenkins-plugin安装包。登录Jenkins首页，单击 ...
术语表
SQL独享版 SQL独享版是日志服务提供的计费资源，用于SQL分析。当您对大规模（百亿到千亿级）数据有分析需求时，可使用SQL独享版。更多信息，请参见 开启SQL独享版。数据加工 术语 说明 DSL（Domain Specific Language）DSL是日志服务数据...
升级组件化/mPaaS Inside 接入方式到 AAR 接入方式
移除 bundle 中的 bundle {} DSL 定义，移除 public.xml 定义（如果有特别需要，可以保留）。移除 portal 中所有的 com.alipay.portal 插件。移除 portal 中的 portal {} DSL 定义，移除 public.xml 定义（如果有特别需要，可以保留）。...
ES操作状态查询表
使用GDB+ES查询时错误 This dsl is illegal,full text by using elasticsearch should be global 使用GDB+ES的DSL针对的是全文索引，你可能错误的使用了该操作、比如加了out()、both()等操作。使用GDB+ES查询时错误 使用GDB+ES查询时错误 ...
字典类型相关
X-DSL-NESTED-DICT:inner dsl get 使用get获取字典d中k对应的v，函数的详细信息见下表。项目 描述 语法 get(d,k)参数 d：目标字典。k：key值，可以为任意类型。示例 outer_keys=['e66fd4aa-f281-472f-b919-fc7e7474*','66fee78d-1887-42ec-...
字典类型相关
X-DSL-NESTED-DICT:inner dsl get 使用get获取字典d中k对应的v，函数的详细信息见下表。项目 描述 语法 get(d,k)参数 d：目标字典。k：key值，可以为任意类型。示例 outer_keys=['e66fd4aa-f281-472f-b919-fc7e7474*','66fee78d-1887-42ec-...
字典类型相关
X-DSL-NESTED-DICT:inner dsl get 使用get获取字典d中k对应的v，函数的详细信息见下表。项目 描述 语法 get(d,k)参数 d：目标字典。k：key值，可以为任意类型。示例 outer_keys=['e66fd4aa-f281-472f-b919-fc7e7474*','66fee78d-1887-42ec-...
目标Logstore无数据怎么处理？
当加工语句（DSL）与 创建数据加工任务 面板中设置的目标Logstore不同时，DSL参数中的目标Logstore将覆盖 创建数据加工任务 页面中设置的目标Logstore（加工仅使用目标配置的访问授权）。即在本案例中，加工结果被分发至名为54_log、28_log...
HTTP REST
REST接口支持模板化调用方式，示例如下：DSL硬编码 g.V().hasLabel('gdb_sample_person').drop()|V 模板化调用 g.V().hasLabel(label).drop()bindings:{"label":"gdb_sample_person"} 有关Gremlin REST接口的更多信息，请参阅Apache ...
字典类型相关函数
outer,'dictA')if v { v=get(v,'name')if v { add_rsp_header('X-DSL-NESTED-DICT',v)} } 输出：X-DSL-NESTED-DICT:inner ascript get 项目 描述 语法 get(d,k)说明 获取字典d中k对应的v。参数 d：目标字典。k：key值，可以为任意类型。...
X-Pack高级特性
数据静态加密支持 基于角色的访问控制 字段级和文档级安全性 审计日志 IP筛选 Security Realm 单点登录SSO 第三方安全性集成 客户端 RESTAPI 语言客户端 Console DSL SQL 时间查询语言EQL JDBC客户端 ODBC客户端 采集和扩充 数据源 操作...
错误排查概述
internal-etl-log 属于专属Logstore，不收取任何费用，不支持修改其配置，也不支持写入其他数据。internal-etl-log 中每个日志事件的_topic_字段显示了加工任务的状态，可通过该字段判断对应的加工任务是否产生了错误。具体的错误信息通过...
准备工作
前提条件 创建两个RDS MySQL实例。...该操作会产生费用，您可通过按量付费或包年包月的计费方式购买该服务，费用信息请参见 产品定价说明。授予普通用户 poc_dev 库和 poc_prod 库的 查询 和 变更 权限。具体操作，请参见 管理访问控制权限。
版本特性
从6.3开始，支持 X-Pack SQL，支持SQL转DSL语句，缩减DSL学习成本。丰富了聚合函数，增加支持 Composite、Parent 和 Weighted Avg 函数。更多变化，请参见 Breaking changes in 6.0。5.x版本（5.5、5.6版本）新增开源特性：一个index可以有...
TimeStream时序增强引擎介绍
阿里云Elasticsearch提供的TimeStream时序增强功能插件，优化了Elasticsearch在存储指标数据方面的DSL（Domain-Specific Language）查询复杂且慢以及存储成本过高等问题。本文介绍TimeStream时序增强引擎的产生背景、适用场景、优势及性能...
- 产品推荐
- 这些文档可能帮助您