通过日志服务导入至数仓版
左边文本框为日志字段名称，右边为AnalyticDB MySQL数据库表中的字段。说明 Timestamp类型的字段映射精确到秒级别。例如日志时间为2022-01-05 10:12:13.145，投递到AnalyticDB MySQL后，投递结果为2022-01-05 10:12:13。投递开始时间 配置...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
字段加工
本文介绍字段加工算子的使用方法和注意事项。用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute...新加的字段数据类型和加工结果数据类型得保持一致。
MaxCompute表数据
在血缘信息页面，您可查看表或表字段的上下游，查看表原始数据来源及表数据最终流向的数据库相关信息。同时，也可根据需求进行不同层级血缘的影响分析。说明 仅DataWorks标准版及以上版本才可查看血缘信息。表和字段血缘是通过解析调度作业...
API概览
DeleteTableColumnStatistics 删除元数据表统计信息 回收数据湖元数据表的字段统计信息。DeleteTableVersion 删除元数据表指定版本 删除数据湖元数据表指定版本。UpdateTable 更新元数据表信息 根据名称更新数据湖元数据表信息。...
数据类型
您在创建索引时，可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启...
查看血缘关系
优势 详情 提升数据确认效率 通过溯源数据，可以全面了解数据的各个方面，包括作业涉及的产品、数据库和表情况，表字段的属性和关联关系，数据的来源、经过的处理步骤、传输路径以及最终的消费者。这样可以帮助您更好地理解数据的流向和...
数据建模
字段类型准确性校验 取表字段的字段类型元数据与期望的类型进行比较，符合规则则通过。标准字典值校验 对应分区，字段值与对应数据字典的值编码进行比较，字段值全部存在于字典的值编码中的，则规则通过。自定义SQL规则：单表自定义SQL：...
质量规则参数配置
建议码表中的字段类型和校验字段类型都是string或其他相同类型。码表：选择目标码表。码表名称：输入码表名称，作为质量规则配置时的提示信息。码表参照字段：选择码表中对应的参照字段。说明 码表参照表是判断某个字段是否在码表中，需要...
质量规则参数配置
建议码表中的字段类型和校验字段类型都是string或其他相同类型。码表：选择目标码表。码表名称：输入码表名称，作为质量规则配置时的提示信息。码表参照字段：选择码表中对应的参照字段。说明 码表参照表是判断某个字段是否在码表中，需要...
查看及管理逻辑表下游对象
引用字段 当前下游对象所引用逻辑表的字段名称。数据类型/度量单位 当前下游对象的数据类型及度量单位。开发状态 当前下游对象所处的开发状态。下游对象列表支持的操作 下游对象列表操作栏支持的操作如下：操作 描述 查看对象 单击可查看...
查看及管理逻辑表下游对象
引用字段 当前下游对象所引用逻辑表的字段名称。数据类型/度量单位 当前下游对象的数据类型及度量单位。开发状态 当前下游对象所处的开发状态。下游对象列表支持的操作 下游对象列表操作栏支持的操作如下：操作 描述 查看对象 单击可查看...
RDS数据源配置
RDS数据源配置 云数据库（Relational Database Service，即关系型数据库服务，简称RDS）是阿里云对外提供的一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务（了解RDS）。购买RDS前须知 OpenSearch目前支持RDS for MySQL（不支持5.2...
RDS数据源配置
RDS数据源配置 云数据库（Relational Database Service，即关系型数据库服务，简称RDS）是阿里云对外提供的一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务（了解RDS）。购买RDS前须知 OpenSearch目前支持RDS for MySQL（不支持5.2...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源...同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。
SQL数据类型映射
SQL中字段数据类型 数据表中字段数据类型 多元索引中的字段数据类型 BIGINT Integer Integer VARBINARY（主键）MEDIUMBLOB（属性列）Binary Binary VARCHAR（主键）MEDIUMTEXT（属性列）String KeyWord Text DOUBLE Double Double BOOL ...
配置MaxCompute输出
数据字段结构 实时同步写入的MaxCompute表的字段结构。如果您需要新增字段，请单击 添加。分区设置 实时同步写入的MaxCompute表的分区信息。实时同步写入MCompute表支持 时间自动分区 与 根据字段内容动态分区 两种分区方式 时间自动分区：...
配置ClickHouse输出组件
同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成ClickHouse输出组件的配置。后续步骤 完成输出组件的配置后，即可配置离线...
在线多表join快速搭建
具体详见 数据源配置：通过手动创建应用结构，快速测试接入时使用，这里以该方式为例，创建2张表：字段类型的选择的可参考 OpenSearch-高性能检索版表结构。注意：说明 表总数不能超过系统最大限制8个；索引结构配置，不同的表需要单独配置...
概述
本文介绍如何使用 Create Table Like Mapping 填写建表的字段信息。Create Table Like Mapping 我们通常的建表语句是要求填写好所有的字段信息的，比如在DLA里面建一个底层映射到MongoDB的表的语法是这样的：create external table person...
属性设置器
supportFieldType Array配置字段时，允许配置的字段类型列表 这里的类型取 字段类型。配置时字段类型改为全小写。denyContextData boolean 仅允许选择最近数据上下文的实体字段 缺省 false，可以选择组件所在数据上下文上，所有实体的字段...
MaxCompute+API 数据源
重要 要求done表至少有一个分区键，并且 分区键名称必须与数据表的分区键名称一致，若数据表的分区键为ds，那么done表的分区键也需要设置为ds；done表只有一个string类型的字段，字段名必须为“attribute”；done表添加的分区必须是数据表...
查询和分析JSON日志的常见问题
在设置索引时，字段的数据类型分为text、long、double和JSON。更多信息，请参见 数据类型。当您设置JSON字段的数据类型时，可参考如下思路。如果字段值不是标准JSON格式，可能只是包含了JSON格式的内容，则设置为text类型；如果字段值是...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
功能更新动态（2023年）
集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时...
文档更新动态（2023年）
集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时...
自定义KV模板
检查字段类型的选择，例如数字识别成字母，则可调整此识别字段的字段类型。检查字段的高级配置。测试结果中出现识别字段错误怎么办？检查字段类型的选择，例如将常规调整为数字类型，可更加精准的识别字段。检查字段的高级配置。测试结果选...
自定义KV模板
检查字段类型的选择，例如数字识别成字母，则可调整此识别字段的字段类型。检查字段的高级配置。测试结果中出现识别字段错误怎么办？检查字段类型的选择，例如将常规调整为数字类型，可更加精准的识别字段。检查字段的高级配置。测试结果选...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
数组和嵌套类型
对于多元索引中数组类型的字段，在数据表中必须为String类型，且对应的多元索引中的类型必须为相应的类型，例如Long、Double等。如果字段price是Double Array数组类型，则在数据表中price必须为String类型，在对应的多元索引中的类型必须为...
OCR&文档自学习FAQ
检查字段类型的选择，例如数字识别成字母，则可调整此识别字段的字段类型。检查字段的高级配置。测试结果中出现识别字段错误怎么办？检查字段类型的选择，例如将常规调整为数字类型，可更加精准的识别字段。检查字段的高级配置。测试结果选...
控制台错误日志说明
字段将补充默认值 字段类型转换场景 如果用户的数据源数据类型与schema配置类型无法进行转换则报错 73016 文档总数超过应用配额 数据写出场景 应用实际存储超配额 7523 字符串连接插件处理出错，推送失败，请检查后重试。字符串拼接插件 ...
索引结构
支持创建为索引字段的类型 INT，INT_ARRAY，TEXT，SHORT_TEXT，LITERAL，LITERAL_ARRAY，TIMESTAMP，GEO_POINT 不支持创建为索引字段的类型 FLOAT，FLOAT_ARRAY，DOUBLE，DOUBLE_ARRAY 支持创建为属性字段的类型 INT，INT_ARRAY，LITERAL，...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统...映射关系 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射包括 同名映射 和 同行映射。单击 确认，完成ArgoDB输出组件配置。
新建元表
若元表的Flink SQL字段类型与原始字段类型为多对一，则需选择Flink SQL字段类型。由Flink SQL字段类型映射出原始字段类型，此时原始字段类型只作展示，无法进行编辑，例如Kafka。如果此种数据源的Flink SQL字段类型与原始字段类型为一对多...
新建元表
若元表的Flink SQL字段类型与原始字段类型为多对一，则需选择Flink SQL字段类型。由Flink SQL字段类型映射出原始字段类型，此时原始字段类型只作展示，无法进行编辑，例如Kafka。如果此种数据源的Flink SQL字段类型与原始字段类型为一对多...
子表查询
子表表名即为该复合字段的字段名。目前不支持直接查询该子表字段。...如果WHERE语句中不带有子表字段的条件，则查询结果的主表记录和子表记录join方式默认为LEFT_JOIN，可通过hint修改，具体见 Hint 配置主子表的场景下，支持单独查询主表。
配置Elasticsearch输入组件
[{"name":"col_integer","type":"integer"},{"name":"col_long","type":"long"},{"name":"col_double","type":"double"}]说明 name表示引入的字段名称，type表示引入后的字段类型。例如："name":"user_id","type":"String"表示把字段名为...
配置Elasticsearch输入组件
[{"name":"col_integer","type":"integer"},{"name":"col_long","type":"long"},{"name":"col_double","type":"double"}]说明 name表示引入的字段名称，type表示引入后的字段类型。例如："name":"user_id","type":"String"表示把字段名为...
项目的模板切换
工作项字段 项目内的字段类型为单选/多选文本，在新模板上存在但待选值不同，需要进行映射（工作项数据会同步变化）。项目内的字段类型为层级字段，在新模板上存在但待选值不同，不进行映射，工作项数据进行保留。项目内字段在新模板上不...
- 产品推荐
- 这些文档可能帮助您