功能简介
新建逻辑表：支持通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。云计算资源扫描：支持将云计算资源的已有物理表...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
OpsDoc
简介 在算分过程中，经常会根据文档中字段的内容给予文档不同的分数，从而控制整个排序结果。OpsDoc类封装了一些文档操作接口，通过这些接口用户可以获取文档中的字段。需要注意的是，通过OpsDoc对象获取的字段，必须是出现在控制台上属性...
filter表达式
filter:"contain(nid,\"1|2|3\")"使用 notcontain，检索nid字段值 不在[1,2,3]范围内的所有记录 filter:"notcontain(nid,\"1|2|3\")"in/notin in和notin:判断字段值是否（不）在指定列表中 举例：查询文档中type（int类型）为1或2或3的文档...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
列存索引
JSON字段展开映射 列存索引支持在数据同步后，将表中JSON类型的字段展开存储。在创建列存索引时，定义JSON字段到列存字段之间的映射关系。创建包含JSON字段的表。CREATE TABLE IF NOT EXISTS my_json_tbl(id BIGINT,col1 INTEGER,col2 ...
SQL其他常见问题
您可以通过MaxCompute SQL的运算符判断字段是否为空，更多运算符信息，请参见 运算符。是否可以通过DataWorks的Shell节点调取MaxCompute SQL？不可以。Shell节点仅支持标准Shell语法，不支持交互性语法。如果作业较多，您可以使用ODPS SQL...
DataV6.0数据集介绍
添加子组件成功后，在 更改数据集 弹框中，选择您创建的数据源，单击 确定，在右侧的配置面板中，可以看到数据表中的字段。在 图表配置 模块，完成图表相关配置。参数 说明 区域编号 区域的行政编码，代表着adcode值。说明 您可以直接在...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
单元测试报告
单元测试要求 用例小类 测试要点 说明 是否已检查（Y/N）规范性 命名规范检查（表、视图、工作流、字段）是否符合 MaxCompute数仓建设规范管理指南 中命名规范的表命名规范。代码格式和注释规范性 是否符合 MaxCompute数仓建设规范管理指南...
配置ClickHouse输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
多元索引限制
Mapping 创建多元索引时对字段长度、字段数量、字段类型映射、嵌套类型、表中字段等的使用限制。具体说明请参见下表。名称 最大值 说明 多元索引字段数量 500 可被索引的字段数。数组长度 256 数组中最多包含的元素个数。Nested嵌套层数 5 ...
FieldSchema
store bool 否 是否在多元索引中附加存储该字段的值。开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。field_schemas repeated FieldSchema 否 字段配置信息。只有字段类型为嵌套类型时，才需要设置此...
表
说明 编辑表 暂不支持删除已有表字段。单击 提交表，完成对当前内部表的编辑。删除内部表 在左侧导航栏 已登录实例 界面查询目标内部表。查询目标内部表的步骤请参见 编辑内部表 的步骤1~3。鼠标右击目标内部表，选择 删除表。单击 确认。...
分场景排错指引
您可以通过Print Sink或者Log4j的方式确认数据源中是否存在乱序的数据，详情请参见 print结果表 和 配置作业日志输出。找到乱序数据后，您可以过滤或者采取延迟触发窗口计算的方式处理乱序的数据。确认是否因为个别并发没有数据而导致数据...
用户属性管理
显示状态：属性是否在标签管理、筛选、营销等操作中显示，即是否投入使用，不影响导入用户标签表时字段映射属性。标签字段映射属性方法 用户属性值来自于用户标签表，当标签字段映射了用户属性，调度导入后，用户属性值将采用该字段的值。...
公共规范
将访问相关度较高的列在一个表存储，将访问相关度较低的字段分开存储。将经常用到的Where条件按记录行进行水平切分或者冗余。水平切分可以考虑二级分区手段，以避免多余的数据复制与冗余。将出现大量空值和零值的统计汇总表，依据其空值和...
LOB大字段独立冷存
本文介绍如何将一张表中的某个LOB字段从基表中分离出来并转为冷存，同时访问透明，以达到单张表中按字段维度进行冷热分离。操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table...
LOB大字段独立冷存
本文介绍如何将一张表中的某个LOB字段从基表中分离出来并转为冷存，同时访问透明，以达到单张表中按字段维度进行冷热分离。操作步骤 创建包含大字段的表。这里以text类型为例，其余类型大字段使用方法类似。db01=>CREATE TABLE blob_table...
使用介绍
const string b)说明 判断字段a中是否 包含 b中描述的内容，提供自动分词并检索能力，用于支持在SQL模式下使用HA3引擎原生的查询语法ha3 query语法，仅限索引表召回阶段倒排加速优化使用，用于where条件中 参数 参数a：输入为常量string ...
树形下拉
树形下拉为高级控件，适用较复杂的填报表单中，常用于选择有限选项数据的级联场景。应用场景 树形下拉控件常用于下拉选择级联选项数据的场景。例如需要选择客户 区域以及区域下对应的省份、城市 等。效果图 控件配置 基础配置 配置项 描述...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
清理文档
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
Dataphin表中存在字段，查询时报错没有该字段
问题描述 本文主要介绍如何解决Dataphin表中存在字段，查询时报错没有该字段。查询表字段存在使用的字段。查找该字段报错没有该字段。问题原因 该问题的原因是数据表在dataphin上元数据不同步导致。解决方案 在数据资产进行元数据的刷新。...
日志投递MaxCompute后，如何检查数据完整性
在日志服务数据投递MaxCompute场景下，需要在MaxCompute表分区维度上检查数据完整性，即MaxCompute表中某个分区中数据是否已经完整。使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time...
管理数据表
查看数据源中数据表详情 您可以通过查看数据表的数据字段和数据类型，来确认该数据表是否为您需要的数据表。在数据源页面的 我的数据源 列表中，找到并单击目标数据源。在页面右侧的数据表中，单击 操作 列的 图标。您可以在 表详情 页面，...
数据注册与字段配置
比如 L1#EG1#E1，L2#EG2#E2 维度字段 比如操作系统 os 否 可以根据此维度字段过滤对应的指标 metric_name 指标的名称，比如 pv,uv,ctr 等 是 metric_value 指标的值 是 float64 值 dt 日期字段 是 格式：yyyyMMdd hh 小时字段 否 24小时制...
创建逻辑模型：应用表
添加表字段 您可以通过 快捷模式 或 代码模式 为表添加字段，其中 快捷模式 支持如下导入方式：从表/视图导入：从计算引擎已存在的物理表或视图导入字段，即在 查找已有表/视图 下拉列表搜索并选择已存在的物理表或视图进行字段导入。...
使用介绍
5.5|5|1299|Meizu|5.5|6|169|Nokia|1.4|7|3599|Apple|4.7|8|5998|Apple|5.5|9|4298|Apple|4.7|10|5688|Samsung|5.6|MATCHINDEX 原型 说明 判断字段a中是否 包含 b中描述的内容，单字段索引的召回 仅限索引表召回阶段倒排加速优化使用，用于...
使用介绍
5.5|5|1299|Meizu|5.5|6|169|Nokia|1.4|7|3599|Apple|4.7|8|5998|Apple|5.5|9|4298|Apple|4.7|10|5688|Samsung|5.6|MATCHINDEX 原型 说明 判断字段a中是否 包含 b中描述的内容，单字段索引的召回 仅限索引表召回阶段倒排加速优化使用，用于...
管理元数据
说明 可选的字段为数据表中的字段，并且一个字段只能添加一次。指标名称 填写指标名称。字段类型 字段类型默认 string。指标类型 指标类型包括 基础属性、基础指标 和 我的指标。联通状态 联通状态包括 成功 和 失败。指标注册 中只要有...
管理元数据
说明 可选的字段为数据表中的字段，并且一个字段只能添加一次。指标名称 填写指标名称。字段类型 字段类型默认 string。指标类型 指标类型包括 基础属性、基础指标 和 我的指标。联通状态 联通状态包括 成功 和 失败。指标注册 中只要有...
使用Stage和Task详情分析查询
根据当前Stage算子计划树中的聚合节点（Aggregation）或Join节点的属性，对应到具体的SQL语句，判断分区字段或者Join条件字段中是否存在某些字段组合。例如：a.id=b.id 中存在id字段，而 a.id=b.id and a.age=b.age 中存在id和age字段。...
Sensors Data（神策）数据源
示例"dataConverters":[{"type":"NotNull2Null"}]无 IfElse if条件表达式，判断字段值是否满足条件，当if条件表达式成立时，在value中定义满足条件时的字段返回值，当if条件表达式不成立时，在else中定义不满足条件时的字段返回值。...
创建逻辑模型：汇总表
添加表字段 您可以通过 快捷模式 或 代码模式 为表添加字段，其中 快捷模式 支持如下导入方式：从表/视图导入：从计算引擎已存在的物理表或视图导入字段，即在 查找已有表/视图 下拉列表搜索并选择已存在的物理表或视图进行字段导入。...
概述
为了满足这方面的需求，PolarDB PostgreSQL版 除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，既不影响查询...
概述
为了满足这方面的需求，PolarDB PostgreSQL版（兼容Oracle）除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，...
概述
为了满足这方面的需求，PolarDB PostgreSQL版（兼容Oracle）除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，...
资产安全概述
因为在实际的生产过程中，往往会有上千张表，上万个字段，这么多字段全部通过人工标注敏感程度并不现实。Dataphin提供了 基于规则自动识别敏感字段 的功能，可以基于字段的名称或者字段的内容，自动识别出敏感字段。同时，识别规则还支持...
资产安全概述
因为在实际的生产过程中，往往会有上千张表，上万个字段，这么多字段全部通过人工标注敏感程度并不现实。Dataphin提供了 基于规则自动识别敏感字段 的功能，可以基于字段的名称或者字段的内容，自动识别出敏感字段。同时，识别规则还支持...
- 产品推荐
- 这些文档可能帮助您