使用执行计划分析查询
输出行数 目标Stage输出的行数。输出大小 目标Stage输出的数据量。系统会根据实际数据量选择Bytes、KB、MB、GB或TB为单位。输入行数 目标Stage输入的行数。输入大小 目标Stage输入的数据量。系统会根据实际数据量选择Bytes、KB、MB、GB或TB...
如何统计表行数
同时，文件的行数元信息是在生成文件时统计的，如果用户使用了TTL功能，文件中的部分数据可能已经过期了，从而导致该信息不准。因此，该值仅仅只是一个估计值。但如果用户的表没有更新，没有删除和TTL过期，显示的行数是完全准确的，可以在...
配置SAP Table输入组件
Rowskip 输出的第一条数据的行号（从0开始）。Rowcount 从rowskip开始，一共输出的数据行数（0代表所有数据）。过滤条件 表查询条件，可使用SAP query operator进行条件过滤。SAP query operator如下：EQ：等于。NE：不等于。LT：小于。LE...
配置SAP Table输入组件
Rowskip 输出的第一条数据的行号（从0开始）。Rowcount 从rowskip开始，一共输出的数据行数（0代表所有数据）。过滤条件 表查询条件，可使用SAP query operator进行条件过滤。SAP query operator如下：EQ：等于。NE：不等于。LT：小于。LE...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
概述
数据源作为脚本文件或输出文件的输入数据，其中：自定义Topic数据是设备上报的原始数据格式.物模型属性上报Topic的数据格式，请参见 设备属性上报.数据服务中数据解析后数据格式为JSON格式。API数据：指通过开放接口 ImportDTData 来触发...
OSS-HDFS数据源
作为文件通配符，语法类似于通常的Linux命令行文件通配符。重要 数据集成会将一个同步作业所有待读取文件视作同一张数据表。您必须自己保证所有的File能够适配同一套schema信息。您需要在配置OSS-HDFS数据源时填写的AK具有对应OSS-HDFS的...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
使用MaxCompute控制台（离线）
忽略首行 是否将待上传文件数据的首行（通常为列名称）上传至目标表中。勾选：文件首行不上传至目标表中。不勾选：文件首行将上传至目标表中。单击 上传数据，提交上传。重要 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰...
将数据写入OSS
MaxCompute支持您通过INSERT方式将MaxCompute项目中的数据通过映射的OSS外部表直接输出到OSS目录。本文为您介绍向OSS写入数据的方法并提供示例。背景信息 与读取OSS数据类似，MaxCompute支持将内部表数据或处理外部表得到的数据写入OSS：...
通过元数据发现导入至湖仓版
允许单个列字段：是否允许CSV数据文件的一行记录只有一列。false：不允许。true：允许。其他配置：通过参数配置指定是否使用CSV文件第一行作为列名。若有需求请联系技术支持。调度配置 调度频率 如果想要定期获取数据文件中列或数据的变更...
CSV数据文件格式
标题行是数据文件的第一行，由 或 \r 结束，行内不支持使用双引号、换行符等特殊字符，除分隔符逗号（,）外的其余字符均被解析为标题内容。系统列标题 标题类型 参数/语法 是否必需 说明 点标题~id 是 点的ID。label 是 点的标签，只支持...
添加数据映射
您可配置设备Topic数据、API数据和自定义存储表数据作为孪生节点物模型属性的数据源。本文介绍配置数据映射的具体操作。前提条件 已为孪生节点配置功能属性。具体操作，请参见 配置功能属性。已获取待添加数据映射的孪生节点ID和名称，及其...
脚本和输出语法
将脚本解析返回的 data 数据，作为输出文件的数据源，使用以下JSON格式，配置数据映射，示例如下：[{/key值对应data数据中的字段。key":"k1",/iotId值对应孪生节点ID。iotId":"xx*",/孪生节点下的功能属性标识符，获取key对应字段的输出...
数据上传
忽略首行 是否将文件数据的首行（通常为列名称）上传至目标表中。勾选：文件首行不上传至目标表中。不勾选：文件首行将上传至目标表中。单击 数据上传，开始上传数据。上传数据分析电子表格数据 选择待上传数据。数据来源：选择 电子表格。...
配置HDFS输出组件
同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性配置的...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
HDFS数据源
您也可以指定column字段信息（文件数据列和常量列配置二选一），配置如下。{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/...
什么是备份数据量
概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说，是购买时选择的存储空间；对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置AnalyticDB for MySQL 3.0输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
配置AnalyticDB for MySQL 3.0输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
配置KingbaseES输出组件
同步其他数据源的数据至KingbaseES数据源的场景中，完成源数据源的信息配置后，需要配置KingbaseES输出组件写入数据的目标数据源。本文为您介绍如何配置KingbaseES输出组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
配置KingbaseES输出组件
同步其他数据源的数据至KingbaseES数据源的场景中，完成源数据源的信息配置后，需要配置KingbaseES输出组件写入数据的目标数据源。本文为您介绍如何配置KingbaseES输出组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
如何将本地.rdb文件恢复到云数据库 Redis 版实例
如果自建Redis开启了AOF，重启服务时，会优先使用AOF文件恢复数据，可能导致RDB文件的数据不能成功恢复到Redis中。此时，请关闭AOF。如果指定目录（dir）中的AOF文件备份到其他目录下，再重启Redis。重启后，如需打开AOF，可以执行 redis-...
导入数据
导入数据的操作流程如下：确认数据文件的保存路径。数据文件的保存路径有两种选择：您可以将文件直接归档至MaxCompute客户端的 bin 目录中，上传路径为 文件名.后缀名；也可以将文件归档至其他路径下，例如D盘的test文件夹，上传路径为 D:\...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
输入和输出数据的格式
云数据库ClickHouse输入和输出数据格式的详细信息，请参见 输入和输出数据的格式。
数据缓存
在频繁访问相同数据的查询场景中，File Cache可以避免重复访问远端数据的开销，提升热点数据的查询分析性能和稳定性。原理 File Cache将访问的远程数据缓存到SelectDB本地的BE节点。原始数据文件会根据访问的IO大小切分为Block，Block被...
配置GBase 8a输出组件
同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源...
配置GBase 8a输出组件
同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源...
新建Hologres类型公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
新建Hive类型的公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
新建Hive类型的公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
新建RDS MySQL类型的公共节点
数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
新建AnalyticDB PostgreSQL类型的公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未...
- 产品推荐
- 这些文档可能帮助您