时间字段转换示例
在查询分析中，往往需要对日志中的时间字段进行处理，例如将时间戳转换成指定格式等，本文档介绍时间字段的常用转换示例。日志中可能有多个记录时间的字段，例如：_time_：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、...
导入MySQL数据
时间字段 MySQL数据中代表时间的字段，例如create_time或者update_time等。在日志服务中将使用该时间字段的值为数据的导入时间。时间字段格式 时间字段的格式，支持Java类型时间格式。例如yyyy-MM-dd HH:mm:ss。更多信息，请参见 时间格式...
字段值映射处理
原日志处理方法 当映射后的字段在原始日志中已存在时的处理方式。overwrite（默认值）：覆写原字段。fill：不覆写原字段。JSON配置方式 配置 type 为 processor_dict_map，detail 说明如下表所示。参数 类型 是否必选 说明 SourceKey ...
Quick BI如何导出图表中想要的字段？
概述 本文主要介绍导出图表中想要的字段的方法。详细信息 Quick BI如何导出图表中想要的字段？方法如下：在已选字段中选择需要的字段，然后导出即可。适用于 Quick BI
UDF开发（Python3）
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
DataFrame概述
PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口，用Pandas进行计算。快速入门：为您介绍如何创建和操作DataFrame对象，以及使用Dataframe完成基本的数据处理。...
账单查询
本文介绍媒体处理MPS账单的查询步骤以及账单中的字段说明。重要 因产品服务升级：自2022年8月9日起，本产品账单上的产品名称由 媒体处理 更名为 智能媒体服务。详细说明请参见【产品通知】媒体处理服务升级通知。自2023年5月11日起，本产品...
配置FeatureStore项目
FeatureStore 项目会对应一个离线数据源和在线数据源，各个项目中彼此独立，而项目内可共享所有的离线、在线特征表。本文为您介绍如何配置特性平台项目。功能原理 阿里云特征平台 FeatureStore 为您提供数据源能力，可分别对接离线存储和...
恶意行为防御自定义规则最佳实践
命令行 填写为误拦截告警详情中的 执行命令 字段中的特征字符。例如*AliYunDun*。动作 选择 加白。进程网络 告警加白规则配置：收到如下图所示的进程网络误拦截告警，则加白规则配置参考下表。说明 系统通过 IP、端口、网络通信的进程路径 ...
查看原始日志
背景信息 原始日志 页面展示了每一条日志的详细内容，包括时间、内容以及日志中的各个字段。各个日志字段的详细说明请参见 日志字段说明。操作步骤 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的区域：中国 或 全球（不含...
自定义字段
您不仅可以 在项目中配置自定义字段，还可以在管理后台中直接管理当前企业使用的所有自定义字段。二者的区别： 当你在管理后台修改字段选项时，会提示仅修改当前的字段内容，同步更新到所有项目中添加了该字段的任务类型。举例：(1)进入...
分隔符模式解析
处理超出字段方式 日志中提取的Value数量大于Key数量时的处理方法。展开：保留多余的Value内容，分别添加到_column$i_格式的字段中，其中$i 代表多余字段序号，从0开始计数。例如_column0_、_column1_。保留：保留多余的Value内容，并整体...
Quick BI 数据集中将处于不同字段下的...时间字段的方法
问题描述 有时我们将时间数据存储在数据库中时并不是以TIMESTAMP格式的时间字段，而是分为年、月、日三个字段存储在数据库中。这时就是以三个字段的形式展示时间了，如果想要在仪表板里使用时间格式，则需要将这三个字段进行整合转化为时间...
Quick BI维度或度量字段如何重命名
产品名称 Quick BI 产品模块 仪表板 概述 本文主要介绍Quick BI中如何对报表中显示的数据字段重命名。问题描述 根据业务需求在报表显示的字段要重命名，但是不知道如何对仪表板中的度量字段进行重命名为自定义的别名？问题原因 没有找到...
数据脱敏
在数据集中设置需要脱敏的字段，系统将该字段中的敏感数据进行模糊化处理，使得该字段在仪表板、电子表格或自助取数中以脱敏的形式展示，保护数据安全。前提条件 已创建数据集，请参见 创建并管理数据集。脱敏规则及效果展示 说明 本文档仅...
0002-00000077
问题描述 URL签名中通过 x-oss-additional-headers 字段指定的请求头部中存在一个或多个空的头部字段。问题原因 您采用URL签名的方式发送请求，但是在URL参数中通过 x-oss-additional-headers 指定的请求头部中存在空的头部字段。问题示例 ...
Quick BI添加计算字段时如何引用其他计算字段
问题描述 已经添加了一个计算字段（毛利率字段），另一个计算字段需要用到该计算字段，但是无法选择到这个字段 问题原因 已创建的计算字段不可以直接被其他计算字段引用，新建的计算字段只能引用原字段。解决方案 您可以复制需要引用的计算...
字段映射
提取邮箱的前缀作为字段值：使用钉钉邮箱前缀：SubstringBefore(idpUser.email,"@")使用 AD UPN 前缀：SubstringBefore(idpUser.userPrincipalName,"@")使用固定值：Trim("myString")说明 IDaaS 表达式中的字段格式为“idp”+“User/...
通用参考
使用星号（*）表示Logtail采集的全部原始数据作为输入，比如*|parse-json content 敏感 不支持 特殊字段处理 时间字段 在SPL执行过程中，SLS日志时间字段类型始终保持为数值类型 INTEGER 或者 BIGINT。SLS日志字段包括数据时间戳字段_time_...
创建多物理表服务单元
多物理表服务单元用于关联多个物理表，并对关联后的字段进行元数据配置。后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的...
LLM数据处理
本文以开源项目RedPajama在GitHub中的少量数据为例，为您介绍如何使用PAI提供的LLM大语言模型数据处理组件，对GitHub代码数据进行数据清洗和处理。前提条件 已创建工作空间，详情请参见 创建工作空间。已将MaxCompute资源关联到工作空间，...
数组和嵌套类型
例如Long类型+数组后，即为数组长整型，该字段中可以包括多个长整型数字，查询数据时其中任何一个匹配都可以返回该行数据。多元索引的基本类型数组格式请参见下表。数组类型 说明 Long Array 长整型的数组形式，格式为“[1000,4,5555]”。...
Python 3 UDAF
调用方法如下：在归属MaxCompute项目中使用自定义函数：使用方法与 内建函数 类似，您可以参照内建函数的使用方法使用自定义函数。跨项目使用自定义函数：即在项目A中使用项目B的自定义函数，跨项目分享语句示例：select B:udf_in_other_...
前言
媒体处理的Python SDK基于阿里云Python SDK，本文介绍阿里云Python SDK的一些基本知识。阿里云Python SDK快速入门 阿里云Python SDK使用手册 阿里云Python SDK GitHub仓库 了解基本知识后，您可以进行媒体处理Python SDK的安装。详情参见 ...
时间轴
说明 当 字段 中仅填入 时间轴/时间维度 时，需要配置该选项。空值自动补齐展示 当 时间轴/时间维度 区域选中的时间字段的值小于系统预设值时，选中此选项，系统会在图表上自动补齐缺失的时间。说明 仅当 图表类型 为 时间粒度 时，需要...
Python SDK常见问题
PyODPS中的DataFrame最多可以处理多少数据，对表的大小有限制吗？在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。index_sort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
创建多元索引
false,store:true,isAnArray:false,analyzer:"single_word"},/{/fieldName:"Col_Nested",/fieldType:TableStore.FieldType.NESTED,/index:false,/enableSortAndAgg:false,/store:false,/fieldSchemas:[/嵌套字段中设置子字段索引。...
全局操作函数概览
e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。e_kv 通过quote提取多个源字段中的键值对信息。e_kv_delimit 通过分隔符提取源字段中的键值对信息。e_csv 使用默认分隔符半角逗号（,）提取多个...
PyODPS常见问题
PyODPS中的DataFrame最多可以处理多少数据，对表的大小有限制吗？在DataFrame中如何使用max_pt？使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果...
GDB中配置ES信息
指定的字段中不能包含“,”号和“.”点，否则无法指定成功。不需要指定label的字段，其已经默认同步至ES中。如果您刚开始并不想指定字段，也需要运行该语句，要不然ES服务将不可用，您只需要在vertex与edge中不指定同步字段就好，即"vertex...
管理元数据
编辑元数据 重要 必填字段 中第一个必填字段不允许编辑。系统元数据不支持编辑操作。在 元数据注册 页面，单击需要编辑元数据所在行 操作 列下的 图标。在 编辑元数据 对话框提示，只支持字段的增删操作，其他参数不可编辑。添加元数据的...
Python SDK示例：DataFrame
本文为您介绍Python SDK中DataFrame相关的典型场景操作示例。DataFrame PyODPS提供了DataFrame API，它提供了类似Pandas的接口，但是能充分利用MaxCompute的计算能力。完整的DataFrame文档请参见 DataFrame。假设已经存在三张表，分别是 ...
管理元数据
编辑元数据 重要 必填字段 中第一个必填字段不允许编辑。系统元数据不支持编辑操作。在 元数据注册 页面，单击需要编辑元数据所在行 操作 列下的 图标。在 编辑元数据 对话框提示，只支持字段的增删操作，其他参数不可编辑。添加元数据的...
数据注册与字段配置
比如 L1#EG1#E1，L2#EG2#E2 维度字段 比如操作系统 os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称，比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式：yyyyMMdd hh 小时字段 否 24小时制...
0002-00000076
问题描述 URL签名中 x-oss-additional-headers 字段取值为空。问题原因 您采用URL签名的方式发送请求，但是在URL参数中 x-oss-additional-headers 字段取值为空。问题示例 您发起了在URL参数中携带签名的请求，但是 x-oss-additional-...
任务类型配置
任务类型的配置让云效项目协作的任务不再千篇一律，让企业在项目管理中能更加灵活、便捷地创建所需的任务信息，更好地匹配不同行业背景和不同业务特性的协作需求。你可以在一个项目中为不同类型的任务配置不同的字段，同时自由搭配备注、...
- 产品推荐
- 这些文档可能帮助您