数据处理配置
每个数据源默认免费提供2个资源，如您的数据量更新较大，并且对数据的时效性有要求的场景，可以通过数据处理配置，扩容process_partition_count来支持更大的数据更新。扩容数据处理资源 在高级配置中，用户点击数据处理配置后，选择需要...
数据处理配置
每个数据源默认免费提供2个资源，如您的数据量更新较大，并且对数据的时效性有要求的场景，可以通过数据处理配置，扩容process_partition_count来支持更大的数据更新。扩容数据处理资源 在高级配置中，用户点击数据处理配置后，选择需要...
丢弃字段
配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_drop，detail 说明如下...
添加字段
配置示例 添加 aaa2 字段和aaa3字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_add_fields，detail 说明如下表所...
重命名字段
配置示例 将 aaa1 字段重命名为 bbb1，将 aaa2 字段重命名 bbb2，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"bbb1":"value1""bbb2":"value2""aaa3":"value3"JSON配置方式 参数配置...
字符串替换
表单配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：处理结果："content":"10.10.239.16","new_ip":"10.10.239.*/24",JSON配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：{"processors":[{"type":...
打包字段
配置示例 将指定的 a 字段和 b 字段打包成JSON字段 d_key，配置示例如下：原始日志"a":"1""b":"2"Logtail插件处理配置 处理结果"a":"1""b":"2""d_key":"{\"a\":\"1\",\"b\":\"2\"}"JSON配置方式 参数说明 配置 type 为 processor_packjson...
数据脱敏
原始日志"password":"123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":"const","Match":"full","ReplaceString":"*"} } 处理结果"password":"*"示例2 使用正则表达式指定目标...
工作流管理
单击 媒体处理配置>工作流管理，进入工作流管理页面。单击 添加工作流。工作流拓扑结构。输入 工作流名称。新增工作流 单击+，添加工作流。删除工作流 单击删除键，删除工作流。删除父节点，子节点也会一起删除，如下图所示。删除前工作流...
过滤日志
192.168.*.*""method":"POST""browser":"ali-sls-ilogtail"Logtail插件处理配置 {"type":"processor_filter_regex","detail":{"Include":{"ip":"10\\.*","method":"POST"},"Exclude":{"browser":"aliyun.*"} } } 处理结果 日志 是否采集 ...
工作流
配置方式 目前，您可以登录 视频点播控制台，在点播控制台左侧的导航栏选择 配置管理，在 媒体处理配置>工作流管理 页面配置工作流。使用方式 您可以在获取上传凭证时指定工作流。重要 工作流方式和原模板组上传方式只能使用一种，并且使用...
转换IP地址
配置示例 将日志中的IP地址转换成对应的地理位置，示例如下：原始日志"source_ip":"*.*.*.*"Logtail插件处理配置 处理结果"source_ip":"*.*.*.*""source_ip_province_":"浙江省""source_ip_city_":"杭州""source_ip_province_code_":"ZJ"...
采集主机文本日志
处理配置 配置项 说明 日志样例 待采集日志的样例，请务必使用实际场景的日志。日志样例可协助您配置日志处理相关参数，降低配置难度。支持添加多条样例，总长度不超过1500个字符。[2023-10-01T10:30:01,000][INFO]java.lang.Exception:...
视频点播快速入门
在控制台左侧导航栏的 配置管理 区域，选择 媒体处理配置>转码模板组。说明 该服务区域在开通存储管理后，系统会自动为您添加 不转码 和 TranscodeTemplateGroup 转码模板组。单击 添加转码模板组，进入 添加转码模板组 页面。输入 模板组...
配置目标节点
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
身份与权限管理概述
请参见下文先创建，再授权 消息服务MNS 若使用消息服务MNS订阅任务信息则必须授予MNS权限 否，可选 MNS全部读写权限：AliyunMNSFullAccess 播放加速CDN 若使用媒体处理配置播放加速则必须授予CDN权限 否，可选 CDN全部读写权限：...
概述
在 处理配置 区域，添加Logtail插件，然后单击 保存。在创建Logtail配置时添加插件 在创建Logtail配置时，您也可以添加Logtail插件，即您在 接入数据 区域的 自建开源/商业软件 页签下，选择目标数据源，完成选择日志空间、创建机器组、...
数据编码与解码
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。BASE64编码 您可以通过processor_base64_encoding插件对字段值进行编码。表单配置方式 配置 处理器类型 为 BASE64...
字段值映射处理
配置说明 表单配置方式 配置 处理器类型 为 字段值映射处理，相关参数说明如下表所示。参数 说明 原始字段 原始字段名。结果字段 映射后的结果字段名。映射字典 映射字典。设置键和值，将键映射到值上。映射字典较小时，可直接通过此参数...
数据过滤器
数据表配置 系统自动解析接口返回或数据过滤脚本处理之后的结构化数据后，展示可供筛选的数据列表。注意事项 数据过滤器支持返回的数据格式：单值（Number、String、Boolean）、一维数据（一维JSON、一维表）、二维数据（一维JSON Array、...
AICS实现对积分过程的稳定控制
MPC模型配置 在配置具有积分环节性质的CV的模型时，只需配置该积分环节的差分阶跃响应模型即可。例如在此案例中，MV和CV之间的阶跃响应模型为下图。但是在MPC的模型配置中，需要输入的是该模型的差分模型，即下图。需要注意差分模型的FIR...
稳态数据挑选
参数说明 IN端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 时间变量 如果数据跟时间有关系，则需要配置时间变量，配置了时间变量，会将数据按时间变量进行排序，再做后续处理。算法支持的输入时间格式为：yyyy-mm-dd hh...
请求处理程序（Handler）
配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）；其中事件请求由各种事件源触发生成，HTTP...
数据处理与路由规则
本文介绍了如何配置数据处理规则与路由规则。通过配置数据处理规则，您可以在设备数据进行上链之前，对数据进行预处理，以进行脱敏和保护。通过配置路由规则您可以在“产品”维度把某产品下的设备数据路由到区块链中，通过切换不同的路由...
收到SLB配置冲突短信怎么办？
本文介绍使用SAE时，如何处理SLB配置冲突的问题。问题现象 收到SLB配置冲突短信。可能原因 SAE对SLB的管控为托管式，帮助您配置SLB实例监听，而在SLB产品侧对其进行配置动作，SAE将视为干扰配置，将放弃后续配置或者覆盖掉SLB原来的配置，...
请求处理程序
本文介绍在 函数计算 中使用Java运行时开发请求处理程序的相关概念和配置说明。什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 ...
数据标注
并且我们可以通过预处理规则配置：去除url、去除emoji、大写转小写、繁体转简体，帮助我们处理文本里面的无用信息。在这里我们选择分类类型支持单选分类和多选分类，多选分类：每个题目，可以选择多个答案；单元分类：每个题目，只能选择...
自定义区域下钻层（v3.x版本）
样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索配置项。通用：设置自定义区域下钻层的通用配置参数项。参数 说明 可见...
自定义区域下钻层（v4.x版本）
样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索配置项。通用：设置自定义区域下钻层的通用配置参数项。参数 说明 可见...
Oracle同步至Tablestore
每完成一个数据处理节点配置，可以单击右上角的 数据输出预览 按钮，在弹出对话框中，单击 重新获取上游输出，模拟得到Oracle采样数据经过当前数据处理节点处理后的结果。在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工...
概述
脚本文件 使用JavaScript语言编辑脚本，解析处理已配置的数据源中数据，最后输出JSON格式数据。文件大小不超过128 KB。输出文件 使用规定的JSON数据格式，将数据源或通过脚本处理后的数据，映射到指定孪生节点的物模型属性上。文件大小不...
请求处理程序（Handler）
namespace Example { public class HelloFC { public async Task<Stream>StreamHandler(Stream input){/function logic } } } 配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求...
LogHub（SLS）实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON 解析）生成动态列的处理方式，如果在 JSON 解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。...
图文解释
单击选中 SAM分割预处理 后，在右侧 配置 区域配置具体参数。参数说明如下：参数 说明 标题 默认标题区域无需修改。数据集字段 在数据集字段中选择使用SAM分割的embedding字段，可以配置该字段来提升页面SAM分割工具的加载速度。如果不配置...
Kafka单表实时入湖OSS（HUDI）
每完成一个数据处理节点配置，可以单击右上角的 数据输出预览 按钮，在弹出对话框中，单击 重新获取上游输出，模拟得到Kafka Topic采样数据经过当前数据处理节点处理后的结果。在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击...
利用配置中心规范构建 PaaS 服务配置
配置路径的概念类似于文件路径或者网络域名，它让不同配置集合之间具有层级关系。具体配置的 Key-Value 形式：在配置中心中设置具体配置内容。2.配置中心配置结构能力产品比较 为了更直观地说明，我们对比了几个配置中心产品：阿里云 ACM：...
Kafka实时ETL同步至Hologres
每完成一个数据处理节点配置，可以单击右上角的 数据输出预览 按钮，在弹出对话框中，单击 重新获取上游输出，模拟得到Kafka Topic采样数据经过当前数据处理节点处理后的结果。在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击...
配置CLI
Linux：~/.aliyunlogcli Windows：C:\Users\ UserName \.aliyunlogcli 如果配置不成功，请根据返回错误码提示进行处理。配置多个账号的服务入口和访问密钥 如果您需要跨账号操作日志数据，则需要配置多个账号的AccessKey和服务入口信息。...
数字输入框
配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。图表尺寸：包括组件的宽度和高度，单位为px。可单击 图标锁定...
导航菜单栏
配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。图表尺寸：包括组件的宽度和高度，单位为px。可单击 图标锁定...
- 产品推荐
- 这些文档可能帮助您