缺失值填充训练
算法简介 数据缺失值模型训练，缺失值填充支持4种策略，最大值、最小值、均值、指定数值。当策略为指定数值时，需要设置参数填充缺失值。可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 数据 存储在...
行级管控
一个管控值可能对应多行数据。如果您具有该管控值的行权限，则拥有该管控表中多行数据的查询、导出或变更权限。所有：具备行级管控表的所有行权限，可访问整个行级管控表。单击 搜索。选中目标行权限，单击。说明 行值为-，表示拥有所有行...
CSV数据文件格式
propertyname:type(set)#SET属性，数据行中包含多值。propertyname:type[]#SET属性，数据行中包含多值。propertyname:type(set)[]行格式 项目 说明 分隔符 行中字段是用逗号分隔的，行间是用换行符（）或回车换行符（\r）分隔的。空白字段 ...
版本说明
SDK 支持多值过滤，通过SDK写入的多值数据，支持按照多个metric value 的关联过滤，多指标统一返回，详细请参考 SDK 文档。TSDB 发布时空功能，支持空间GPS类型数据写入和过滤分析，提供工单邀请测试。V2.3.0 2018年10月9日 新特性 TSDB ...
多值数据查询
多值模型数据查询 mquery 请求路径和方法 请求路径 请求方法 描述/api/mquery POST 查询数据 重要 多值模型数据和原来写入的单值模型数据不兼容。单值模型数据需要通过原有的/api/put 接口进行写入。同时多值写入数据需要通过/api/mquery ...
缺失值处理
功能说明 缺失值处理组件支持对缺失的数据进行填充或剔除，数据集出现缺失值可能会导致后续的建模异常，可以在数据处理阶段对缺失值进行填充或剔除。支持的填充方法有：前值，后值，均值，和指定值。计算逻辑原理 前值：将缺失值按照前面...
行级管控
多行值内容，需要使用英文逗号（,）分隔。单击 导入。出现导入行值成功的提示后，表示行值已追加成功。步骤二：申请行权限 所有用户（包含管理员、DBA）在查询该行的数据前，都需要申请受管控的行权限。登录 数据管理DMS 5.0。在顶部菜单栏...
数据模型
当我们导入数据时，对于 指定的所有Key列值完全相同时，多行数据会进行合并，而Value列会按照设置的 AggregationType 进行聚合，最终只保留一行数据。AggregationType 目前有如下聚合方式。聚合方式参数 参数说明 SUM 求和。适用数值类型。...
排序和翻页
如果某行Col_Long列（Long类型）的数据缺失，则使用Col_Long_sec列（Long类型）的数据替换Col_Long列数据用于排序。SearchQuery searchQuery=new SearchQuery();FieldSort fieldSort=new FieldSort("Col_Long");指定Col_Long_sec列的值作为...
调整实例WRITESET相关参数
transaction_dependency_history_size 是内存中保存的做冲突检测的数据行数量的上限值，该值越大，保存的数据行越多，事务间冲突检测后并发度越高。参数取值规则 警告 binlog_transaction_dependency_tracking 参数与 transaction_write_...
表数据格式
primary key(PK)：设置本属性后，可高效支持Upsert数据导入功能，PK值相同的多行记录在快照查询或者 COMPACTION 操作后会merge成一行数据，只保留最新状态。tblproperties("transactional"="true"）：transactional属性代表满足ACID事务...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
新建表
Range 分区：基于属于一个给定连续区间的列值，将多行分配给分区。范围必须是有序的、连续的和不重叠的。List 分区：基于数据的枚举值进行分区。Hash 分区：基于给定的分区个数进行分区。对于分布规则不明显的数据，并没有明显的范围查找等...
数据探查
数据质量柱图，显示字段值的有效值和缺失值。值分布柱图 两种展示模式：条形图（详情视图）和直方图（概览视图），其中直方图只在当原始去重值超过域值时才会展示。当原始去重值小于域值时，仅显示条形图。概览和详情可切换。探查卡片交互...
管理分区
RANGE分区：基于属于一个给定连续区间的列值，把多行分配给分区。LIST分区：类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。HASH分区：基于用户定义的表达式的返回值来进行选择的分区，该表达式...
JSON格式导入
以固定分隔符分隔的多行Object数据 Object表示的一行数据，即表示要导入的一行数据，示例如下：{"id":123,"city":"beijing"} {"id":456,"city":"shanghai"}.这种方式通常用于Stream Load导入方式，以便在一批导入数据中表示多行数据。重要 ...
字段分析
缺失值占比 缺失值总行数/日志总行数。Distinct值总数 使用approx_distinct函数计算该列中不重复的字段值数量。Distinct值占比 Distinct值总数/日志总行数。统计指标 参数 说明 最大长度 该字段值所占的最大字符长度。最小长度 该字段值所...
多值查询最新数据点
多值模型最新数据点查询（新建mlast）请求路径和方法 请求路径 请求方法 描述/api/query/mlast POST 获得多值模型指标数据中fields 最新写入的数据点。请求内容 名称 类型 是否必选 描述 默认值 举例 queries Array 是 子查询数组。无 见子...
缺失值填充
一、组件说明 在联邦学习任务中，缺失值指的是数据集中某些特征（属性）的取值缺失。由于许多机器学习算法需要输入完整的数据集进行训练，所以在数据集中存在缺失值会对模型的训练和性能产生影响。因此，需要对缺失值进行填充，以便于联邦...
窗口函数
窗口函数基于查询结果的行数据进行计算。窗口函数运行在 HAVING 子句之后，ORDER BY 子句之前。触发一个窗口函数需要特殊的关键字 OVER 子句来指定窗口。一个窗口包含三个组成部分：分区规范，用于将输入行分裂到不同的分区中。这个过程和 ...
缺失值填充批预测
算法简介 数据缺失值填充处理，批式预测组件。运行时需要指定缺失值模型，由缺失值填充训练组件产生。缺失值填充的4种策略，即最大值、最小值、均值、指定数值，在生成缺失值模型时指定。可视化配置参数【输入桩配置】输入桩（从左到右）...
数据对齐
本文为您介绍数据对齐组件。功能说明 数据对齐组件可以指定某一列或多列数据，对指定列进行向前或向后移动若干行。...例如：数据向后偏移两行，则会删除前两行由于偏移产生的缺失数据，其他的缺失值不作处理。是 是 是 否
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
颜色映射器使用说明
颜色映射器适用于设置组件内各种颜色和数据数值之间的映射配置样式，内置十余种颜色模板，同时支持自定义颜色和颜色的对应值，以满足用户不同的定制需求。本文以配置 基础平面地图 3.0 组件中 矢量散点层 子组件的散点颜色为例，为您介绍...
颜色映射器使用说明
颜色映射器适用于设置组件内各种颜色和数据数值之间的映射配置样式，内置十余种颜色模板，同时支持自定义颜色和颜色的对应值，以满足用户不同的定制需求。本文以配置 基础平面地图 3.0 组件中 矢量散点层 子组件的散点颜色为例，为您介绍...
窗口函数
桶号值最多间隔 1，如果窗口分区中的数据行数不能均匀地分散到每一个桶中，则剩余值将从第 1 个桶开始，每 1 个桶分 1 行数据。例如，有6行数据和4个桶，最终桶号值为 1 1 2 2 3 4。返回值类型：BIGINT。示例：select year,country,product...
结果编辑与导出
选择多行/多列 按 Shift 键，可选择连续多行/多列；按 Ctrl/Command 键，可选择不连续的多行/多列。右键单击单元格 提供 复制/输出到剪切板 功能键以直接将数据复制到外部文件中。右键单击行序号 提供 复制行/冻结此行/解除全部冻结行/输出...
配置规则：按表（单表）
说明 模型样本参考量是指使 动态阈值算法模型 生效的样本最小时间窗口范围，该时间窗口内允许少于10%的数据缺失。未达到样本参考量时不会报警，缺失数据会由算法自动补齐。波动值比较 用于计算波动率。您可根据波动率计算公式（波动率=...
基础统计分析
二、诊断报告 下面用demo数据演示了基础统计分析报告，其中展示了每天的用户量，展示了多个bigint特征从最大值最小值、百分位数、频数统计等多个角度的分析报表。诊断结果中显示空值率大于0.4，需要关注city字段。展示每天的数据总量 唯一...
多值数据写入
时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型。比如某个机器的cpu，mem和load指标。每次是...
配置数据质量规则去噪
如果规则是SQL任务表行数，7天平均值波动检测，则基准值是前7天的表行数据的平均值。是否启动 选择是否开启该降噪规则，开启后当任务中存在质量规则校验不通过的数据时将不阻塞任务运行。单击 保存，完成去噪规则配置。管理去噪规则 您可以...
内建函数概述
假设窗口按照X进行排序，Xi表示第i行数据对应的X值，Xc表示当前行数据对应X值。位置说明如下：当 order by 为升序时：frame_start：指第一条满足 Xc-Xi数据的位置。frame_end：指最后一条满足 Xc-Xi>=offset 数据的位置。当 order by 为降...
水印使用限制
由于嵌入水印的原理是将水印原子信息嵌入到不同特征的数据中去，因此源数据特征越多，越能嵌入完整的水印信息、提高提取成功率，并且即使缺失部分数据也不影响水印提取。所以对需要嵌入水印的数据有如下要求：待嵌入水印的源数据需要大于...
电子表格常见问题
您可以在预览行数中修改显示行数，默认预览1000行，最多预览10000行。专业版的自助取数功能没有10000行的限制，请参见 概述。电子表格是否支持添加多个Sheet页签？仅专业版下创建的电子表格支持添加多个Sheet页签。请参见 电子表格配置操作...
分类玫瑰图
参数 说明 最小值 半径轴的最小值，支持自定义输入，也支持系统选择 数据最小值，取数据中的最小值。最大值 半径轴的最大值，支持自定义输入，也支持系统选择 数据最大值，取数据中的最大值。轴线：分类玫瑰图的半径轴轴线样式，包括线的...
时序引擎应用开发简介
3.数据写入 时序引擎支持Java Native SDK写入、行协议写入、标准SQL写入等多种写入方法，其中，Java Native SDK写入、行协议写入以及兼容TSDB接口的多值写入提供了Schema弱约束，以应对Schemaless场景下自动建表的需求。请根据业务情况选择...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
分类玫瑰图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
条形图
参数 说明 最小值 X轴的最大值，支持自定义输入，也支持系统选择 数据最小值，取数据中的最小值。最大值 Y轴的最大值，支持自定义输入，也支持系统选择 数据最大值，取数据中的最大值。轴线：柱图的X轴轴线样式，包括线的类型、线的粗细和...
条形图
参数 说明 最小值 X轴的最大值，支持自定义输入，也支持系统选择 数据最小值，取数据中的最小值。最大值 Y轴的最大值，支持自定义输入，也支持系统选择 数据最大值，取数据中的最大值。轴线：柱图的X轴轴线样式，包括线的形状、线的粗细和...
- 产品推荐
- 这些文档可能帮助您