过滤器
在服务端对读取结果再进行一次过滤，根据过滤器（Filter）中的条件决定返回的行。使用过滤器后，只返回符合条件的数据行，从而有效降低网络传输的数据量，减少响应时间。场景 直接过滤结果 以物联网中的智能电表为例，智能电表按一定的频率...
设置防敏感信息泄露
防敏感信息泄露帮助网站过滤服务器返回内容（异常页面或关键字）中的敏感信息（包含身份证号、手机电话号码、银行卡号、敏感词汇），脱敏展示敏感信息或返回默认异常响应页面。重要 防敏感信息泄露功能目前仅支持处理中华人民共和国境内...
接口出参
使用正则表达式提取JSON类型的Response时，无需在K/V间隔的冒号后面加空格（JSON格式化展现中加入空格是为了展现优化）。可查看 Response原文 信息，参考下图：Cookie:K/V和Header:K/V类型 Cookie:K/V和Header:K/V分别用于提取Cookie字段和...
接口出参
使用正则表达式提取JSON类型的Response时，无需在K/V间隔的冒号后面加空格（JSON格式化展现中加入空格是为了展现优化）。可查看 Response原文 信息，参考下图：Cookie:K/V和Header:K/V类型 Cookie:K/V和Header:K/V分别用于提取Cookie字段和...
迁移实施
例如2个文件 picture.jpg 和 picture.png，设置一条包含规则过滤.*\.jpg$，此时只会迁移 picture.jpg 文件，如果同时也设置了包含规则过滤.*\.png$，则2个文件都会被迁移。当过滤规则为排除时，符合规则的文件都不会被迁移，如果有多条规则...
迁移实施
例如2个文件 picture.jpg 和 picture.png，设置一条包含规则过滤.*\.jpg$，此时只会迁移 picture.jpg 文件，如果同时也设置了包含规则过滤.*\.png$，则2个文件都会被迁移。当过滤规则为排除时，符合规则的文件都不会被迁移，如果有多条规则...
同步 OceanBase 数据库的数据至 DataHub
在 行过滤条件 区域的文本框中，输入标准的 SQL 语句中的 WHERE 子句，来配置行过滤。详情请参见 SQL 条件过滤数据。在 分片列 下拉列表中，选择目标分片列。您可以选择多个字段作为分片列，该参数为可选。选择分片列时，如果没有特殊情况...
文案生成
敏感词：您可以输入需要过滤的敏感词，并采用空格分隔。相似文案：相似文案通过算法判断，一般是指风格相似的文案。添加到文案包 您可以将生成的文案添加到文案包中，可以选择添加到已有文案包或新建文案包进行添加。如果要添加到已有文案...
安装
BatchGetRowWithColumnFilter.php 展示了BatchGetRow的同时进行条件过滤的用法。BatchWriteRow1.php 展示了BatchWriteRow中多个PUT的用法。BatchWriteRow2.php 展示了BatchWriteRow中多个UPDATE的用法。BatchWriteRow3.php 展示了...
读取数据
column_filter 使用过滤器，在服务端对读取结果再进行一次过滤，只返回符合过滤器中条件的数据行。更多信息，请参见 过滤器。说明 当columns_to_get和column_filter同时使用时，执行顺序是先获取columns_to_get指定的列，再在返回的列中...
LLM数据处理
LLM-长度过滤-2 使用该组件根据空格将样本切分成单词列表，根据切分后的列表长度过滤样本，实际是根据单词个数过滤样本。LLM-文章相似度去重-1 使用该组件去除相似的文本。单击画布上方的运行按钮，运行工作流。工作流成功运行后，右键单击...
LLM-计数过滤（MaxCompute）
LLM-计数过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据字母、数字、分隔符的个数过滤样本。使用限制 仅支持MaxCompute计算引擎。算法简介 LLM-计数过滤组件支持以下功能：根据数字字符个数或比例过滤 统计文本中的数字字符...
查询概述
如果为空格或星号（*），表示无过滤条件。更多信息，请参见 查询语法。分析语句 分析语句用于对查询结果或全量数据进行计算和统计。更多信息，请参见 分析概述。示例*|SELECT status,count(*)AS PV GROUP BY status 使用限制 限制项 说明 ...
分析概述
如果为空格或星号（*），表示无过滤条件。更多信息，请参见 查询语法。分析语句 对查询结果或全量数据进行计算和统计。示例*|SELECT status,count(*)AS PV GROUP BY status 使用限制 限制项 普通实例 独享实例 操作并发数 单个Project支持...
查询及分析日志
如果为空格或星号（*），表示无过滤条件。查询语法根据索引配置方式可分为全文查询和字段查询。更多信息，请参见 查询语法。全文查询 指定关键字进行全文查询。您可以用双引号（""）包裹关键字，查询包含该关键字的日志；也可以用空格或 ...
查询与分析审计日志
如果为空格或星号（*），则表示无过滤条件。分析语句 分析语句用于对查询结果或全量数据进行计算和统计。更多信息，请参见 聚合函数。常用示例如下：示例一：查询使用最多的Top 5接口。重要 由于通过表格存储控制台执行功能操作时，系统会...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时，如何解决？Tunnel Upload完成后，存在脏数据，如何解决？Tunnel Download Tunnel Download导出格式有哪些？在同一地域内使用Tunnel ...
LLM-N-Gram重复比率过滤（MaxCompute）
无 是否根据词语级N-Gram重复比率过滤 否 文本分隔符：根据分隔符将文本拆分成单词列表，默认空格。分隔符需用半角双引号（""）括起来。长度N：词语片段序列的长度。比率最小值：取值范围0.0~1.0。N-Gram重复比率小于该值将被过滤掉。比率...
PMI
页签 参数 描述 字段设置 分词好的文档列名，分词用空格隔开 无 参数设置 截断的最小词频 出现次数少于该值的词会被过滤掉。默认值为5。窗口大小 例如5指当前词右边相邻的5个词（不包含当前词）。在窗口中出现的词被认为与当前词相关。执行...
ALIYUN:ROS:ResourceCleaner
工作方式如下：对于某一个过滤标签键（Key），只要资源的标签中存在该标签键，且资源相应的标签值与相应的过滤标签值（Value）相等，则该资源通过该过滤标签键（Key）的过滤。说明 如果存在多个过滤标签值（Value），则只需要与其中之一...
管理过滤器
本文介绍过滤器的详细使用方法，包括新建过滤器、添加过滤器和排序过滤器等。前提条件 已登录DataV控制台 已进入画布编辑器页面 新建过滤器 您可以通过以下两种方法新建过滤器。通过 过滤器>过滤器 新建。在左侧导航栏，单击 过滤器，进入...
管理过滤器
本文介绍过滤器的详细使用方法，包括新建过滤器、添加过滤器和排序过滤器等。前提条件 已登录DataV控制台 已进入画布编辑器页面 新建过滤器 您可以通过以下两种方法新建过滤器。通过 过滤器>过滤器 新建。在左侧导航栏，单击 过滤器，进入...
详细功能介绍
本文介绍数据过滤器的详细使用方法，包括新建过滤器、添加过滤器、排序过滤器以及新建代码片段等。登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。您可以在编辑器内进行如下操作。新建过滤器。重命名...
管理过滤器
本文介绍如何管理数据过滤器，包括新建过滤器、添加过滤器、排序过滤器以及新建代码片段等。新建过滤器 请参见 新建过滤器。重命名过滤器 鼠标移动到过滤器列表中的某个过滤器上，单击 重命名 图标，输入过滤器名称即可。删除过滤器 警告 ...
添加过滤器
在日志服务仪表盘中添加过滤器，即对整个仪表盘进行查询过滤或变量替换操作。本文介绍如何为仪表盘添加过滤器。前提条件 已采集数据。具体操作，请参见 数据采集概述。已配置索引。具体操作，请参见 创建索引。已添加统计图表到仪表盘。...
过滤器管理
本文介绍过滤器的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建过滤器 登录 DataV控制台。在 功能导航 模块单击过滤器，进入过滤器管理页面。在过滤器卡片页上方，单击 新建过滤器。在弹窗中输入过滤器 名称 和 代码块 后，...
使用Envoy过滤器模板创建Envoy过滤器
ASM支持通过Envoy过滤器模板创建Envoy过滤器。同一个Envoy过滤器模板可以被用来创建多个Envoy过滤器，应用于不同的工作负载和命名空间，从而提高配置的复用性和管理效率。在ASM进行版本升级时，Envoy过滤器模板可以自动创建或变更对应的...
新建过滤器
本文介绍数据过滤器的功能和如何新建一个过滤器。数据过滤器功能 在DataV中可以使用数据过滤器，可以通过自定义JavaScript代码，实现数据结构转换、数据筛选展示和一些简单的计算。前提条件 已进入画布编辑器页面。新建过滤器 您可以通过...
字段过滤
您在制作仪表板或电子表格时，如果您的数据量较大，可以启用过滤器功能，将需要的某一类或者某几类数据从数据集中过滤出来。过滤器可以过滤字符类、数值类和日期类的数据。字符类 您可以通过设置过滤器将直辖市从省份字段里过滤出来。以...
去掉空格
1.组件介绍 说明 必要前置组件：无 利用本组件可以去掉指定字符串的空格 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置...
设置过滤条件
在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。该功能常应用于分库分表、同步或迁移部分数据等场景。前提条件 当前任务处于 配置任务对象及高级配置 阶段。进入此阶段的方法...
使用方法
您可以使用数据过滤器，自定义数据过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV资产数据过滤器的使用方法。背景信息 新版数据过滤器与旧版过滤器相比，取消了全局过滤器的概念（即各可视化应用共享过滤器...
API结果过滤器
说明 如果一个获得授权的API已经在开发过程中开启了过滤器，那么再开启应用授权过滤器后，两个过滤器会同步生效：应用授权过滤器会对API由过滤器转换后的结果，按照设置的方式进行再次过滤，最终返回给调用方。使用方式 在 已获授权API ...
如何在日志中搜索包含空格的关键字
本文主要介绍如何在日志中搜索包含空格的关键字。搜索包含空格的关键字时，如果在筛选框直接搜索，则会得到包含空格左侧关键字或右侧关键字的所有日志。建议您在查询包含空格关键字时，将关键字使用双引号包裹起来，将引号中的内容作为一个...
API结果过滤器
同个API在不同使用的场景中，...说明 如果一个获得授权的API已经在开发过程中开启了过滤器，那么再开启应用授权过滤器后，两个过滤器会同步生效：应用授权过滤器会对API由过滤器转换后的结果，按照设置的方式进行再次过滤，最终返回给调用方。
动态过滤器（Dynamic Filter）
动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）从上图可知，在原始的执行计划中不存在过滤器，过滤器是由系统根据JOIN的特性自动产生的，它的作用就是判断B表中的元素是否存在于A表生成的集合中，如不存在，则过滤掉。...
过滤参数
过滤模式：删除指定参数 参数 说明 示例 删除指定参数 配置需要删除的参数，最多可以配置10个参数，多个参数用空格作分隔符。假设原始URL为 http://example.com/1.jpg?key1=1&key2=2&key3=3 ，实现特定的功能场景，设置参数后，原始URL经全...
动态过滤器（Dynamic Filter）
动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）从上图可知，在原始的执行计划中不存在过滤器，过滤器是由系统根据JOIN的特性自动产生的，它的作用就是判断B表中的元素是否存在于A表生成的集合中，如不存在，则过滤掉。...
API结果过滤器
同个API在不同使用的场景中，...说明 如果一个获得授权的API已经在开发过程中开启了过滤器，那么再开启应用授权过滤器后，两个过滤器会同步生效：应用授权过滤器会对API由过滤器转换后的结果，按照设置的方式进行再次过滤，最终返回给调用方。
消息过滤
消息服务MNS 的消息过滤功能是指将一个主题的消息通过不同的标签推送到不同的订阅渠道。本文介绍消息过滤的功能以及如何设置消息过滤标签。背景信息 通常情况下，在主题中创建订阅可以将消息推送至已订阅的推送目标。即消息没有设置消息...
- 产品推荐
- 这些文档可能帮助您