新建及管理质量规则模板
指定某张表的字段：单击编辑框中的 仅填入表1的字段名1，快捷输入该表的字段名变量${t1.c1}。指定表+字段：单击编辑框中的 填入表名1+字段名1，快捷输入表名+字段名变量$[t1.c1]。仅支持上述变量写法，其他变量形式将统一被解析为校验表的...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
字段加工
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 加工逻辑 对于需要加工的字段，需要输入字段名称和字段代码，以及字段内容类型，如文本、长文本、整型、小时、时间、布尔等。...
MaxCompute表数据
在血缘信息页面，您可查看表或表字段的上下游，查看表原始数据来源及表数据最终流向的数据库相关信息。同时，也可根据需求进行不同层级血缘的影响分析。说明 仅DataWorks标准版及以上版本才可查看血缘信息。表和字段血缘是通过解析调度作业...
API概览
DeleteTableColumnStatistics 删除元数据表统计信息 回收数据湖元数据表的字段统计信息。DeleteTableVersion 删除元数据表指定版本 删除数据湖元数据表指定版本。UpdateTable 更新元数据表信息 根据名称更新数据湖元数据表信息。...
数据类型
您在创建索引时，可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启...
查看血缘关系
字段级别 查看表字段、字段类型，以及表级别相同的数据库名称、Catalog名称和链接器，作业有关信息。表级别血缘 字段级别血缘 从元数据角度查看血缘信息 说明 如果Catalog下某个表关联的作业比较多，血缘关系图不好查看，您可以通过缩放等...
数据建模
字段类型准确性校验 取表字段的字段类型元数据与期望的类型进行比较，符合规则则通过。标准字典值校验 对应分区，字段值与对应数据字典的值编码进行比较，字段值全部存在于字典的值编码中的，则规则通过。自定义SQL规则：单表自定义SQL：...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
质量规则参数配置
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。两表字段值一致性比较：...
查看及管理逻辑表下游对象
引用字段 当前下游对象所引用逻辑表的字段名称。数据类型/度量单位 当前下游对象的数据类型及度量单位。开发状态 当前下游对象所处的开发状态。下游对象列表支持的操作 下游对象列表操作栏支持的操作如下：操作 描述 查看对象 单击可查看...
查看及管理逻辑表下游对象
引用字段 当前下游对象所引用逻辑表的字段名称。数据类型/度量单位 当前下游对象的数据类型及度量单位。开发状态 当前下游对象所处的开发状态。下游对象列表支持的操作 下游对象列表操作栏支持的操作如下：操作 描述 查看对象 单击可查看...
RDS数据源配置
RDS表中 datetime 及 timestamp 此类时间类型，系统会自动转化为毫秒数，请将对应应用表字段类型设置为 TIMESTAMP。外网区域RDS实例，需要申请内网地址后才能访问，否则会提示 连接RDS服务失败，请稍后再试。不符合数据源过滤条件的（全量...
RDS数据源配置
RDS表中 datetime 及 timestamp 此类时间类型，系统会自动转化为毫秒数，请将对应应用表字段类型设置为 TIMESTAMP。外网区域RDS实例，需要申请内网地址后才能访问，否则会提示 连接RDS服务失败，请稍后再试。不符合数据源过滤条件的（全量...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源...同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。
SQL数据类型映射
SQL中所用字段对应于表中同名字段，两者的数据类型必须相匹配。本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据...
配置MaxCompute输出
数据字段结构 实时同步写入的MaxCompute表的字段结构。如果您需要新增字段，请单击 添加。分区设置 实时同步写入的MaxCompute表的分区信息。实时同步写入MCompute表支持 时间自动分区 与 根据字段内容动态分区 两种分区方式 时间自动分区：...
配置ClickHouse输出组件
同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。后续步骤 完成输出组件的配置后，即可配置离线...
在线多表join快速搭建
具体详见 数据源配置：通过手动创建应用结构，快速测试接入时使用，这里以该方式为例，创建2张表：字段类型的选择的可参考 OpenSearch-高性能检索版表结构。注意：说明 表总数不能超过系统最大限制8个；索引结构配置，不同的表需要单独配置...
概述
本文介绍如何使用 Create Table Like Mapping 填写建表的字段信息。Create Table Like Mapping 我们通常的建表语句是要求填写好所有的字段信息的，比如在DLA里面建一个底层映射到MongoDB的表的语法是这样的：create external table person...
属性设置器
supportFieldType Array配置字段时，允许配置的字段类型列表 这里的类型取 字段类型。配置时字段类型改为全小写。denyContextData boolean 仅允许选择最近数据上下文的实体字段 缺省 false，可以选择组件所在数据上下文上，所有实体的字段...
MaxCompute+API 数据源
重要 要求done表至少有一个分区键，并且 分区键名称必须与数据表的分区键名称一致，若数据表的分区键为ds，那么done表的分区键也需要设置为ds；done表只有一个string类型的字段，字段名必须为“attribute”；done表添加的分区必须是数据表...
查询和分析JSON日志的常见问题
说明 此类型是指SQL语法中的数据类型，例如varchar、bigint、boolean、JSON、array、date等，与日志服务索引中的数据类型不同。您可以通过typeof函数查看SQL分析对象的数据类型。更多信息，请参见 typeof函数。json_extract函数可以解析...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
功能更新动态（2023年）
数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。创建、配置及手动触发识别规则 资产目录 个人数据中心 标签工厂 标签离线服务任务支持跨项目选择目标表。支持使用非本项目下的物理表作为来源表创建离线视图。离线视图...
文档更新动态（2023年）
数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。更新说明 创建、配置及手动触发识别规则 资产目录 个人数据中心 标签工厂-标签加工-离线标签 标签离线服务任务支持跨项目选择目标表。支持使用非本项目下的物理表作为...
自定义KV模板
检查字段类型的选择，例如数字识别成字母，则可调整此识别字段的字段类型。检查字段的高级配置。测试结果中出现识别字段错误怎么办？检查字段类型的选择，例如将常规调整为数字类型，可更加精准的识别字段。检查字段的高级配置。测试结果选...
自定义KV模板
检查字段类型的选择，例如数字识别成字母，则可调整此识别字段的字段类型。检查字段的高级配置。测试结果中出现识别字段错误怎么办？检查字段类型的选择，例如将常规调整为数字类型，可更加精准的识别字段。检查字段的高级配置。测试结果选...
BI分析模式数据面板功能介绍
配置基于字段类型的额外选项 支持以下两种基于其他字段的额外类型选项：粒度（仅支持日期与时间字段）地理角色（如经度、维度；仅支持地理字段；设定地理角色的字段无法进行聚合/排序）说明 字段类型配置详情请参见 添加数据集。配置图表...
数组和嵌套类型
嵌套类型字段在写入数据表时为字符串类型，对应到多元索引嵌套字段类型的格式为JSON对象的数组，例如[{"tagName":"tag1","score":0.8},{"tagName":"tag2","score":0.2}]。重要 即使只有一个子行，也必须按照JSON数组的格式构造字符串。单层...
OCR&文档自学习FAQ
检查字段类型的选择，例如数字识别成字母，则可调整此识别字段的字段类型。检查字段的高级配置。测试结果中出现识别字段错误怎么办？检查字段类型的选择，例如将常规调整为数字类型，可更加精准的识别字段。检查字段的高级配置。测试结果选...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
索引结构
支持创建为索引字段的类型 INT，INT_ARRAY，TEXT，SHORT_TEXT，LITERAL，LITERAL_ARRAY，TIMESTAMP，GEO_POINT 不支持创建为索引字段的类型 FLOAT，FLOAT_ARRAY，DOUBLE，DOUBLE_ARRAY 支持创建为属性字段的类型 INT，INT_ARRAY，LITERAL，...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
新建元表
若元表的Flink SQL字段类型与原始字段类型为多对一，则需选择Flink SQL字段类型。由Flink SQL字段类型映射出原始字段类型，此时原始字段类型只作展示，无法进行编辑，例如Kafka。如果此种数据源的Flink SQL字段类型与原始字段类型为一对多...
新建元表
若元表的Flink SQL字段类型与原始字段类型为多对一，则需选择Flink SQL字段类型。由Flink SQL字段类型映射出原始字段类型，此时原始字段类型只作展示，无法进行编辑，例如Kafka。如果此种数据源的Flink SQL字段类型与原始字段类型为一对多...
子表查询
子表表名即为该复合字段的字段名。目前不支持直接查询该子表字段。...如果WHERE语句中不带有子表字段的条件，则查询结果的主表记录和子表记录join方式默认为LEFT_JOIN，可通过hint修改，具体见 Hint 配置主子表的场景下，支持单独查询主表。
配置Elasticsearch输入组件
[{"name":"col_integer","type":"integer"},{"name":"col_long","type":"long"},{"name":"col_double","type":"double"}]说明 name表示引入的字段名称，type表示引入后的字段类型。例如："name":"user_id","type":"String"表示把字段名为...
配置Elasticsearch输入组件
[{"name":"col_integer","type":"integer"},{"name":"col_long","type":"long"},{"name":"col_double","type":"double"}]说明 name表示引入的字段名称，type表示引入后的字段类型。例如："name":"user_id","type":"String"表示把字段名为...
项目的模板切换
工作项字段 项目内的字段类型为单选/多选文本，在新模板上存在但待选值不同，需要进行映射（工作项数据会同步变化）。项目内的字段类型为层级字段，在新模板上存在但待选值不同，不进行映射，工作项数据进行保留。项目内字段在新模板上不...
- 产品推荐
- 这些文档可能帮助您