配置UA黑白名单
您可以通过配置User-Agent黑白名单规则，实现对访客身份的识别和过滤，从而限制访问视频...示例二：黑名单 规则：*IE*|this-is-empty-ua 结果说明：当请求来源于IE浏览器或者请求头中携带的User-Agent字段值为空时，均不可访问所请求的资源。
日志（Log）
该字段值为空字符串时，表示未设置日志主题。日志时间 日志服务保留字段（_time_）用于标识日志时间。更多信息，请参见 保留字段。Unix时间戳。日志内容 日志的具体内容，由一个或多个内容项组成，内容项为 Key:Value 格式。您通过Logtail...
创建逻辑模型：维度表
说明 如果已导入字段中存在 字段显示名 为空的字段，您可根据界面提示将字段描述填充为字段显示名。代码模式 代码模式 为您提供代码输入的操作方式，单击 代码模式 后，弹窗中会根据已配置的模型信息自动生成建模语言，您可以在此基础上...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
Schema约束
Schema约束的含义 Schema约束通常体现在数据写入层面，即写入的字段是否与预先定义的表结构中包含的字段一致，写入的字段数据类型是否与预先定义的数据类型一致或兼容，甚至写入的表是否存在等等。在传统关系型数据库中，这些约束非常严格...
事件判断
场景1：判断字段是否存在 原始日志 a:a_value b:/空字符串 SLS DSL编排 方案一（推荐）：采用 e_has 或 e_not_has。e_if(e_has("a"),e_set("has_a",true))e_if(e_has("b"),e_set("has_b",true))e_if(e_has("c"),e_set("has_c",true))e_if(e...
匹配条件说明
正则匹配、正则不匹配 匹配字段正则表达式、不匹配字段正则表达式 内容为空 匹配字段内容为空。配置示例 示例1：匹配字段 为URI、逻辑符 为包含、匹配内容 为/login.php ，表示当被请求的路径包含/login.php 时，则请求命中该规则。示例2：...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
修改地图区域样式
在 设置数据源 页面，将数据框内的area_id和value字段值修改为对应区域的字段值。area_id：area_id字段的数据必须从属于 默认数据 内的adcode值。例如在 默认数据 内设置的adcode值是浙江省330000，映射数据 栏内的area_id字段数值必须在...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
新建数据模型
是否必填 选择是否为必填字段。是否唯一 选择是否进行唯一性校验。默认值 设置字段的默认值。字段描述 对新增字段的简要描述。操作 您可选中新增字段，在右侧属性栏做如下操作：编辑：修改字段名称、默认值或设置相关选项。删除：删除该行...
通过日志服务导入至数仓版
是否过滤脏数据 脏数据包括数据类型转化失败和非空字段为空等数据。如果打开 是否过滤脏数据 开关，则遇到脏数据时，过滤掉脏数据。如果关闭 是否过滤脏数据 开关，则遇到脏数据时，投递任务中断。请谨慎选择。完成上述参数配置后，单击 ...
标签平台设置
Dataphin标签平台设置为使用标签模块功能的前提条件，包含时间字段设置及提供标签在线服务的服务数据源设置，其中时间字段设置包含标签表时间分区字段设置以及实时事件时间戳字段设置。标签表时间分区字段设置包含一、二、三级分区字段设置...
数据集组合
如下图，销售订单数据-数据集组合这个交叉表取主数据集的区域和订单金额字段，取辅助数据集的订单数量字段，订单金额和订单数据为 二次聚合（求和）后的数据。说明 该场景下，仅支持求和、计数、最大值、最小值4种聚合方式，否则会报错。若...
日期累计
配置日期累计示例 维度包含1个日期字段 维度包含日期字段（日粒度）维度包含日期字段（月粒度）维度包含日期字段（季粒度）维度包含日期字段（年粒度）维度包含多个日期字段 维度包含日期字段（日粒度）下面以交叉表为例配置日期累计。...
配置ElasticSearch输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。字段分隔符 非必填项，填写字段之间分隔符。如果您没有填写，则系统自动添加英文逗号（,）作为分隔符。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示...
配置并管理实时同步任务
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置MySQL输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置ElasticSearch输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。字段分隔符 非必填项，填写字段之间分隔符。如果您没有填写，则系统自动添加英文逗号（,）作为分隔符。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
配置条件级联
使用限制 条件级联配置支持同源配置和非同源配置：级联配置项 支持的筛选类型 同源级联配置 下拉列表且来源于 单个数据集 树形下拉 日期选择且来源于 数据集字段 非同源级联配置 下拉列表且来源于 单个数据集 日期选择且来源于 数据集字段 ...
数据可视化展现
本文为您介绍如何通过DataWorks数据分析实现用户画像数据可视化展示。前提条件 在开始试验前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行...
配置组件交互
id、city 为您数据库中的字段，test_id_3 为数据库中数据表的表名。API模式 https://api.test?id=:income&city=:mycity 说明 income 和 mycity 为您配置的回调ID，id 和 city 为您数据库中的字段。高级功能 设置自定义字段 选择数字翻牌器...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置数据聚合
您可以将数据聚合节点类比为Flink SQL的窗口函数，该节点的作用是将解析任务中流转的消息按照窗口进行聚合计算。通过该节点聚合生成多样化的数据，可用于后续分析或输出。使用说明 目前支持的Flink SQL的窗口函数规则为滚动时间窗口...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
图文解释
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。sam_embedding_url 用于SAM分割的embedding数据，目前使用前需要用户自行预...
搜索增强
数据源类型 是否为faq 解析字段 RDS MySQL/MaxCompute 是 要求数据库库表字段类型为：id、question、answer、sim_question、url、gmt_modified；否 解析字段同所选数据库库表字段，非固定可选；OSS 是 支持解析的文件格式为.csv/.xlsx；...
同步任务修改
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
返回状态码说明
2003 文档中字段为空 EmptyPrimaryKey-2004 插入的文档主键为空 EmptyDocList-2005 插入的文档列表为空 EmptyDocFields-2006 文档的字段列表为空 EmptyIndexField-2007 文档的索引字段为空 InvalidRecord-2008 无效的文档记录 InvalidQuery...
修改任务字段生成重复字段
一、问题原因 情况一：当在管理后台或者项目中修改自定义字段内容（不包括字段名称）时，选择「同步修改所有引用该字段的场景」，此时出现的结果为：1、使用场景的项目中，修改者拥有修改字段权限，则新字段内容会直接覆盖旧字段；...
配置AnalyticDB for MySQL 3.0输出组件
比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表Target_A重命名为Service_B，最后删除Temp...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
- 产品推荐
- 这些文档可能帮助您