扩展字段
可编辑：用户可以对自己在该字段中的值进行查看和编辑。可编辑。填写扩展字段 创建完新字段，确保字段处于启用状态后，即可使用。管理员可以来到【账户与组织】菜单，点击【创建账户】按钮。在弹出的表单上方，即可切换到【扩展字段】标签...
资源函数
base_retry_back_off=1,max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将...
Quick BI能否基于数据集新建字段再创建新字段
概述 本文主要介绍Quick BI能否基于数据集新建字段再创建新字段。详细信息 Quick BI不能基于数据集新创建的字段再创建新字段。可以使用数据库中的字段使用多个函数来创建新字段达到想要的结果。适用于 Quick BI
导入Amazon S3文件
说明 针对其他类型的数据格式，如果您只需提取时间字段中的部分内容，也可通过正则表达式提取。时间字段格式 指定时间格式，用于解析时间字段的值。支持Java SimpleDateFormat语法的时间格式，例如 yyyy-MM-dd HH:mm:ss。时间格式的语法...
创建索引或约束支持的字段类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
导入OSS数据
说明 针对其他类型的数据格式，如果您只需提取时间字段中的部分内容，也可通过正则表达式提取。时间字段格式 指定时间格式，用于解析时间字段的值。支持Java SimpleDateFormat语法的时间格式，例如 yyyy-MM-dd HH:mm:ss。时间格式的语法...
EXTRACT
函数EXTRACT用于从日期/时间字段中获取像年份或小时这样的子字段。函数EXTRACT返回值的类型是DOUBLE PRECISION。YEAR 表示年的字段。SELECT EXTRACT(YEAR FROM TIMESTAMP '2001-02-16 20:38:40')FROM DUAL;date_part-2001(1 row)MONTH 表示...
管理敏感数据
涉敏字段-数据类型分布：可查看数据库中敏感字段的数据类型分布。数据类型即根据数据语义对数据进行的分类。默认包含如下分类：一级分类：个人信息、企业信息、位置信息等。二级分类：手机号、邮箱、银行卡等。说明 用户可自定义新的数据...
从RDS MySQL数据库获取数据进行数据富化
rds_mysql(address="rds-host",username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"content","name")多行匹配 遍历RDS MySQL数据库表中的所有数据行，将匹配到的数据全部添加到指定字段中。...
横向虚拟关联
建模的数据输入分别位于己方和对方的数据库中，对字段进行匹配对齐。组件截图 二、参数说明 参数名称 参数说明 选择保留字段 选择参与方1和参与方2的匹配字段，用于后续横向建模。默认按字段名称（忽略大小写）自动匹配。字段别名默认使用...
数据接口配置说明
操作 说明 编辑字段基本信息 每一个数据字段中包含多个字段参数内容，您可以自定义编辑字段的参数内容。字段名：输入数据字段的英文名称，字段名称必须为英文字符，作为参数传递时的key值。中文名：输入字段的中文名，中文名必须控制在10字...
时间字段转换示例
在查询分析中，往往需要对日志中的时间字段进行处理，例如将时间戳转换成指定格式等，本文档介绍时间字段的常用转换示例。日志中可能有多个记录时间的字段，例如：_time_：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、...
通用参考
使用星号（*）表示Logtail采集的全部原始数据作为输入，比如*|parse-json content 敏感 不支持 特殊字段处理 时间字段 在SPL执行过程中，SLS日志时间字段类型始终保持为数值类型 INTEGER 或者 BIGINT。SLS日志字段包括数据时间戳字段_time_...
提取日志时间
您在使用Logtail采集日志时，可以使用processor_gotime插件或processor_strptime插件解析原始日志中的时间字段。本文介绍两种插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志...
概述
提取日志时间 解析原始日志中的时间字段，并可将解析结果设置为日志时间。更多信息，请参见 Go语言时间格式。转换IP地址 将日志中的IP地址转换为地理位置（国家、省份、城市、经纬度）。更多信息，请参见 转换IP地址。数据脱敏 将日志中的...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
查询和分析JSON日志的常见问题
例如您要统计一次请求中的订单数，即统计 request.param.orders 字段中JSON数组的长度，可使用如下查询分析语句。SELECT json_array_length((json_extract(request,'$.param.orders')))查询和分析结果如下所示。注意 json_extract_scalar...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
创建和管理自定义存储表
自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算Flink，也可以直接存储静态导入的自定义字段数据等。本文介绍如何创建和管理自定义...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
限制账号只能访问指定表、视图、字段
授权查询数据库中的视图 grant select on<数据库名>.<视图名>to<用户名>;示例 授权用户test01查询数据库rds001的视图view_test1。grant select on rds001.view_test1 to test01;授权更新或查询表中的字段 grant update(<字段名>)on table...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源写入数据。同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要...例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。
配置ClickHouse输出组件
例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。后续步骤 完成输出组件的配置后，即可配置离线单条管道的容错、并发度及内存等参数。具体操作，请参见 通过离线单条管道配置集成任务。
FieldSchema
重要 字段名称必须与数据表中的字段名称相同。field_type FieldType 是 字段类型。更多信息，请参见 数据类型映射。重要 多元索引的字段类型必须与数据表中字段类型相匹配。analyzer string 否 分词器类型。默认值为单字分词。当字段类型为...
GDB中配置ES信息
指定的字段中不能包含“,”号和“.”点，否则无法指定成功。不需要指定label的字段，其已经默认同步至ES中。如果您刚开始并不想指定字段，也需要运行该语句，要不然ES服务将不可用，您只需要在vertex与edge中不指定同步字段就好，即"vertex...
数据接口配置说明
操作 说明 编辑字段基本信息 每一个数据字段中包含多个字段参数内容，您可以自定义编辑字段的参数内容。字段名：输入数据字段的英文名称，字段名称必须为英文字符，作为参数传递时的key值。中文名：输入字段的中文名，中文名必须控制在10字...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
映射富化函数
maki pop:200 cid:3 province:sh 示例3：将日志中的 city1、pop1 字段与数据表中的主键（city、pop）进行映射，返回目标行中所有列的值。原始日志 city1:sh name:maki pop1:200 加工规则 e_tablestore_map([("city1","city"),("pop1","pop...
自定义开发组件蓝图说明
在当前 render 字段中自定义设置 导入数据接口 动作代码逻辑。说明 动作逻辑都可自定义多个，自定义设置越多，蓝图编辑器节点页面显示动作越多。添加交互动作 在自定义组件中实现蓝图编辑器中多个交互动作，以数字翻牌器组件的 显示 和 ...
探查数据集
前提条件 已通过上传或者连接数据库完成数据集的创建。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。选择需要探查的数据集，单击 探索，进入卡片推荐页面。单击页面右上角的修改图标，设置...
有约束的列修改类型
主键（PRIMAEY KEY）约束下字段类型的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL，对该列进行字段类型修改操作，MySQL 数据库和 OceanBase 数据库 MySQL 租户的区别如下。MySQL 数据...
导入Elasticsearch数据
设置时间字段和时间格式时，确保该设置与真实数据中的时间字段、格式相匹配。设置Elasticsearch查询条件或时间范围时，确保Elasticsearch索引中存在符合条件的数据。日志服务中显示的数据时间和数据本身的时间不一致。设置导入配置时，没有...
CSV数据文件格式
本文介绍需要导入至图数据库GDB实例的CSV数据文件格式。背景信息 CSV数据文件遵循RFC 4180 CSV规范。更多信息，请参见 CSV文件的一般格式和MIME类型。重要 所有文件必须采用UTF-8格式编码。注意事项 必须将点和边分别放到单独的文件。说明 ...
配置Oracle输出组件
Oracle输出组件用于向Oracle数据源写入数据。同步其他数据源的数据至Oracle数据源的场景中，完成源数据的信息配置后，需要配置Oracle输出组件...例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成 Oracle输出组件 配置。
配置Oracle输出组件
Oracle输出组件用于向Oracle数据源写入数据。同步其他数据源的数据至Oracle数据源的场景中，完成源数据的信息配置后，需要配置Oracle输出组件...例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成 Oracle输出组件 配置。
有约束的列修改长度
主键（PRIMARY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL 对该列进行字段长度修改操作，MySQL 数据库和 OceanBase 数据库 MySQL 租户的区别如下。MySQL 数据...
数据源插件说明
OpenSearch中的数据，既支持通过API/SDK/上传界面的方式导入，也支持直接从已有的云数据库进行同步。如果选择通过API或SDK来上传数据，可以参照API手册直接上传，不支持本文中的插件配置。如果选择同步云端数据的方式，则需要将数据源的...
- 产品推荐
- 这些文档可能帮助您