AIMaster：弹性自动容错引擎
使用流程 步骤一：配置容错监控参数 首先根据AIMaster支持的全量参数说明，并参考容错监控参数常见配置示例，来配置额外参数。步骤二：开启容错监控功能 您可以在提交 DLC 训练任务时，通过控制台或SDK的方式开启容错监控功能。任务运行...
数据处理配置
每个数据源默认免费提供2个资源，如您的数据量更新较大，并且对数据的时效性有要求的场景，可以通过数据处理配置，扩容process_partition_count来支持更大的数据更新。扩容数据处理资源 在高级配置中，用户点击数据处理配置后，选择需要...
数据处理配置
每个数据源默认免费提供2个资源，如您的数据量更新较大，并且对数据的时效性有要求的场景，可以通过数据处理配置，扩容process_partition_count来支持更大的数据更新。扩容数据处理资源 在高级配置中，用户点击数据处理配置后，选择需要...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
丢弃字段
配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_drop，detail 说明如下...
添加字段
配置示例 添加 aaa2 字段和aaa3字段，配置示例如下：原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_add_fields，detail 说明如下表所...
重命名字段
配置示例 将 aaa1 字段重命名为 bbb1，将 aaa2 字段重命名 bbb2，配置示例如下：原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"bbb1":"value1""bbb2":"value2""aaa3":"value3"JSON配置方式 参数配置...
字符串替换
表单配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：处理结果："content":"10.10.239.16","new_ip":"10.10.239.*/24",JSON配置方式 原始日志："content":"10.10.239.16"Logtail插件处理配置：{"processors":[{"type":...
打包字段
配置示例 将指定的 a 字段和 b 字段打包成JSON字段 d_key，配置示例如下：原始日志"a":"1""b":"2"Logtail插件处理配置 处理结果"a":"1""b":"2""d_key":"{\"a\":\"1\",\"b\":\"2\"}"JSON配置方式 参数说明 配置 type 为 processor_packjson...
数据脱敏
原始日志"password":"123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":"const","Match":"full","ReplaceString":"*"} } 处理结果"password":"*"示例2 使用正则表达式指定目标...
工作流管理
单击 媒体处理配置>工作流管理，进入工作流管理页面。单击 添加工作流。工作流拓扑结构。输入 工作流名称。新增工作流 单击+，添加工作流。删除工作流 单击删除键，删除工作流。删除父节点，子节点也会一起删除，如下图所示。删除前工作流...
回调设置
在左侧导航栏选择 配置管理>媒体处理配置>回调设置，进入回调设置页面。单击 修改设置，回调方式 选择 HTTP请求。设置回调URL及回调事件后，单击 确定。各参数配置说明如下：参数名称 参数说明 回调URL 按需求设置接收消息回调的URL，当...
过滤日志
192.168.*.*""method":"POST""browser":"ali-sls-ilogtail"Logtail插件处理配置 {"type":"processor_filter_regex","detail":{"Include":{"ip":"10\\.*","method":"POST"},"Exclude":{"browser":"aliyun.*"} } } 处理结果 日志 是否采集 ...
工作流
配置方式 目前，您可以登录 视频点播控制台，在点播控制台左侧的导航栏选择 配置管理，在 媒体处理配置>工作流管理 页面配置工作流。使用方式 您可以在获取上传凭证时指定工作流。重要 工作流方式和原模板组上传方式只能使用一种，并且使用...
转换IP地址
配置示例 将日志中的IP地址转换成对应的地理位置，示例如下：原始日志"source_ip":"*.*.*.*"Logtail插件处理配置 处理结果"source_ip":"*.*.*.*""source_ip_province_":"浙江省""source_ip_city_":"杭州""source_ip_province_code_":"ZJ"...
采集主机文本日志
处理配置 配置项 说明 日志样例 待采集日志的样例，请务必使用实际场景的日志。日志样例可协助您配置日志处理相关参数，降低配置难度。支持添加多条样例，总长度不超过1500个字符。[2023-10-01T10:30:01,000][INFO]java.lang.Exception:...
视频点播快速入门
在控制台左侧导航栏的 配置管理 区域，选择 媒体处理配置>转码模板组。说明 该服务区域在开通存储管理后，系统会自动为您添加 不转码 和 TranscodeTemplateGroup 转码模板组。单击 添加转码模板组，进入 添加转码模板组 页面。输入 模板组...
概述
处理方法 新增并配置处理方法，实现各节点的逻辑交互功能。支持的操作如下：新建：单击+，新增一个处理方法。重命名：单击 重命名（）图标，修改处理方法名称。创建代码片段：处理方法保存后，单击 创建代码片段（）图标，保存当前 处理...
概述
在 处理配置 区域，添加Logtail插件，然后单击 保存。在创建Logtail配置时添加插件 在创建Logtail配置时，您也可以添加Logtail插件，即您在 接入数据 区域的 自建开源/商业软件 页签下，选择目标数据源，完成选择日志空间、创建机器组、...
其他子产品SDK参考文档
基于AIMaster的容错监控 介绍 DLC 提供的基于AIMaster的容错监控功能，包括容错监控参数说明、通过SDK开启容错监控功能、通过AIMaster的SDK配置容错监控增强功能。DSW SDK文档入口链接 创建DSW实例 介绍如何通过Python SDK创建DSW实例。...
同步数据到时序表
在解析Kafka Record或者写入时序表时可能发生错误，您可以可通过以下配置进行处理。指定容错能力，可选值包括none和all，默认值为none。none表示任何错误都将导致Sink Task立即失败。all表示跳过产生错误的Record，并记录该Record。runtime...
数据编码与解码
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。BASE64编码 您可以通过processor_base64_encoding插件对字段值进行编码。表单配置方式 配置 处理器类型 为 BASE64...
配置说明
通过本文您可以结合配置示例和配置参数说明了解Tablestore Sink Connector的相关配置。配置示例 当从Kafka同步数据到数据表或者时序表时配置项不同，且不同工作模式下相应配置文件的示例不同。此处以同步数据到数据表中为例介绍配置示例。...
字段值映射处理
配置说明 表单配置方式 配置 处理器类型 为 字段值映射处理，相关参数说明如下表所示。参数 说明 原始字段 原始字段名。结果字段 映射后的结果字段名。映射字典 映射字典。设置键和值，将键映射到值上。映射字典较小时，可直接通过此参数...
数据过滤器
数据表配置 系统自动解析接口返回或数据过滤脚本处理之后的结构化数据后，展示可供筛选的数据列表。注意事项 数据过滤器支持返回的数据格式：单值（Number、String、Boolean）、一维数据（一维JSON、一维表）、二维数据（一维JSON Array、...
常见问题
无论 SOFARegistry 是否宕机，SOFARPC 框架对服务提供者调用失败的情况，做了两方面的容错处理：调用重试：您可以配置调用重试，当发生非业务错误导致的请求失败时（例如网络超时等），会尝试重试（随机调用一个服务提供者重试）。配置方式...
创建训练任务
自动容错 在 资源配置 区域，打开 自动容错 开关后，系统将提供作业检测和控制能力，能够及时检测训练任务算法层面的报错，并规避错误，从而提升GPU的利用率。更详细的配置说明，请参见 AIMaster：弹性自动容错引擎。健康检测 在 资源配置 ...
数据导入常见问题
在Stream Load执行语句中加入-H"max_filter_ratio:0.01"，可以给导入作业设置一个1%或者更小、容错超过1行的容错率，从而将首行的错误忽视掉。您也可以根据实际数据量设置一个更小的容错率，但是要保证1行以上的容错。设置容错率后，返回...
IIS常见问题排查
概述 本文主要介绍使用阿里云ECS实例搭建IIS网站时，遇到的一些常见问题的处理方法。详细信息 说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS...
请求处理程序（Handler）
配置说明 请求处理程序的具体配置均需符合 函数计算 平台的配置规范。配置规范因请求处理程序类型而异。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）；其中事件请求由各种事件源触发生成，HTTP...
数据处理与路由规则
本文介绍了如何配置数据处理规则与路由规则。通过配置数据处理规则，您可以在设备数据进行上链之前，对数据进行预处理，以进行脱敏和保护。通过配置路由规则您可以在“产品”维度把某产品下的设备数据路由到区块链中，通过切换不同的路由...
收到SLB配置冲突短信怎么办？
本文介绍使用SAE时，如何处理SLB配置冲突的问题。问题现象 收到SLB配置冲突短信。可能原因 SAE对SLB的管控为托管式，帮助您配置SLB实例监听，而在SLB产品侧对其进行配置动作，SAE将视为干扰配置，将放弃后续配置或者覆盖掉SLB原来的配置，...
请求处理程序
本文介绍在 函数计算 中使用Java运行时开发请求处理程序的相关概念和配置说明。什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 ...
数据标注
并且我们可以通过预处理规则配置：去除url、去除emoji、大写转小写、繁体转简体，帮助我们处理文本里面的无用信息。在这里我们选择分类类型支持单选分类和多选分类，多选分类：每个题目，可以选择多个答案；单元分类：每个题目，只能选择...
JobSettings
true EnableErrorMonitoringInAIMaster boolean 允许打开作业容错监控 false ErrorMonitoringArgs string 用户指定容错监控的配置参数，比如指定是否启动基于 log hang 的检测-enable-log-hang-detection true EnableRDMA boolean 允许作业...
自定义区域下钻层（v3.x版本）
样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索配置项。通用：设置自定义区域下钻层的通用配置参数项。参数 说明 可见...
自定义区域下钻层（v4.x版本）
样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索配置项。通用：设置自定义区域下钻层的通用配置参数项。参数 说明 可见...
Oracle同步至Tablestore
每完成一个数据处理节点配置，可以单击右上角的 数据输出预览 按钮，在弹出对话框中，单击 重新获取上游输出，模拟得到Oracle采样数据经过当前数据处理节点处理后的结果。在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工...
LogHub（SLS）实时ETL同步至Hologres
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON 解析）生成动态列的处理方式，如果在 JSON 解析 节点配置了 动态输出字段，则在Hologres节点中会出现 上游流入动态字段处理策略 表单。...
- 产品推荐
- 这些文档可能帮助您