触发工作流
触发方式对比 触发方式 适用场景 自动触发 文件上传到指定路径后立即按固定流程处理 手动 触发（校验输入路径）历史数据处理，对已存储在OSS的文件按工作流批量处理 文件上传后不需要立刻处理，比如等待有用户访问、播放量较高后再处理 ...
Windows实例系统更新失败，提示“0x80070422（服务...
具体操作，请参见 方案一：通过PowerShell或修改注册表启用服务。服务所对应的二进制文件不存在或无法加载。您可以修复对应的二进制文件来解决该问题。具体操作，请参见 方案二：使用SFC工具修复二进制文件。解决方案 方案一：通过...
配置HDFS输出组件
文件级：使用号*作为数据文件名占位符，如/ftpuser/test/.flg，将会为每一个数据文件生成一个同名的flg空文件。合并策略 选择输出数据的线程：合并：则所有数据会合并成一个文件，采用单线程输出，大文件输出速度会受影响。重要 合并不支持...
ClickHouse
Boolean 否 false 参数取值如下：false（默认值）：如果是写ClickHouse分布式表，并且在参数url中只指定了一个节点，则不会尝试推测分布式表对应的本地表信息，而是依然会直接写入分布式表，再由分布式表写入对应的本地表。true：Flink将...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
应用示例：数据开发过程触发事件检查
在DataWorks开放平台，成功注册、上线并启用扩展程序后，在该扩展程序所生效的工作空间中，使用页面部分功能（即触发扩展点事件）时，DataWorks会将事件消息发送至您的扩展程序，根据扩展程序返回的结果，您可以决定该操作是否生效。...
控制台上传
上传时文件的扩展名大小写不敏感，如果上传时扩展名不支持（即格式不支持），会自动过滤掉不支持的文件。上传音视频 登录 智能媒体服务控制台。在顶部左上角根据实际情况选择地域。在左侧导航栏选择 媒资管理>媒资库>音/视频。单击 上传音/...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录 数据资源平台...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录企业数据智能...
建表并上传数据
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
DMS中表维护的操作说明
本文介绍在DMS中进行表...扩展：加上extended参数，即 repair table<表名>extend，修改数据文件和索引文件，试图从数据文件恢复每一行，需要逐行重建索引。说明 执行速度为常规>快速>扩展。分析表 分析表使用的命令是 analyze table<表名>。
DMS中表维护的操作说明
本文介绍在DMS中进行表...扩展：加上extended参数，即 repair table<表名>extend，修改数据文件和索引文件，试图从数据文件恢复每一行，需要逐行重建索引。说明 执行速度为常规>快速>扩展。分析表 分析表使用的命令是 analyze table<表名>。
DMS中表维护的操作说明
本文介绍在DMS中进行表...扩展：加上extended参数，即 repair table<表名>extend，修改数据文件和索引文件，试图从数据文件恢复每一行，需要逐行重建索引。说明 执行速度为常规>快速>扩展。分析表 分析表使用的命令是 analyze table<表名>。
DMS中表维护的操作说明
本文介绍在DMS中进行表...扩展：加上extended参数，即 repair table<表名>extend，修改数据文件和索引文件，试图从数据文件恢复每一行，需要逐行重建索引。说明 执行速度为常规>快速>扩展。分析表 分析表使用的命令是 analyze table<表名>。
导入数据至电子表格
在电子表格的编辑页面，您可以直接录入数据，也可以从其他数据源导入数据，或将本地数据导入电子表格，以便为后续数据分析做好准备。本文将为您介绍如何将数据导入电子表格。前提条件 已创建一个空白的电子表格，详情请参见 创建电子表格。...
预读和预扩展
本文介绍了堆表预读、堆表预扩展以及索引创建预扩展的简介、原理以及使用方法等。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.1及以上）说明 您可通过如下...
PolarPlus
创建脚本文件时，请使用扩展名命名该文件，否则PolarPlus将无法访问该文件。说明 PolarPlus将始终对未指定扩展名的文件名采用.sql 扩展名。表 1.登录信息 参数 说明 username 用于连接数据库的数据库用户名。password 与指定用户名关联的...
数据中心
数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将已添加的源表数据进行删除。本地数据 支持用户通过上传本地文件方式将数据集导入至系统。支持上传本地文件更新原数据集，支持...
一键上传本地文件
本文为您介绍如何使用HoloWeb导入本地文件至Hologres。前提条件 阿里云账号注册，详情请参见 阿里云账号注册流程。实名认证，详情请参见 个人实名认证 或 企业实名认证和个体工商户认证。开通交互式分析Hologres，详情请参见 购买Hologres...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
Quick BI如何获取上传文件的临时表信息
问题描述 在本地上传Excel文件后，会在数据库生成一张临时表，如何能获取到这张临时表的表名？解决方案 1，完成Excel表的上传，并创建数据集。2，在 数据集 中找到临时表的位置，然后复制表名即可。适用于 产品名称：Quick BI 产品模块：...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
管理模型
保存模型 DDM模型文件的扩展名有两种，一种是.ddm格式（XML文件），另一种是.ddmx格式（二进制文件）。模型保存可以将模型保存到本地或者模型库中：在 开始 菜单中单击 保存/另存为 将模型保存/另存到本地。在 模型库 菜单中单击 保存/另存...
Apache Nifi
获取本地JSON文件写入Hologres 获取本地JSON文件写入Hologres的流程如下图所示。GetFile：读取JSON格式的文件。ConvertJSONToSQL：将JSON中的元素转化为SQL中的Insert语句。PutSQL：执行上一个Processor生成的SQL语句，将JSON中的元素插入...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
可视化管理资源
MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源，例如表、JAR包、PY脚本或压缩包等，并提供获取及删除资源的入口。本文为您介绍如何通过Project Explorer可视...
符号版本管理
步骤一：制作符号表文件 制作Android符号表文件 获取mapping.txt文件。根据实际情况设置。一般情况下，可以从如下目录中获取mapping.txt文件。build/outputs/mapping/<build-type>/生成so文件。建议编译时使用-g 参数，并...
配置扩展文件
当您需要在阿里云Logstash的配置文件中定义驱动文件时，可通过扩展文件配置功能，上传所需的驱动文件。同时扩展文件配置功能也提供了对所有扩展文件进行管理的能力。操作步骤 进入 阿里云Elasticsearch控制台的Logstash页面。进入目标实例...
FTP数据源
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
创建文件数据源
Quick BI支持将本地的Excel文件和CSV文件上传至数据库中，作为文件数据源，满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。使用限制 限制说明 适用文件类型 单个文件表头必须放第一行，Sheet1不...
通过SFTP/SCP上传或下载文件（本地主机为Linux或macOS...
重要 若您的本地主机为Windows系统，请参考 通过WinSCP上传或下载文件（本地主机为Windows）。以下情况，还可以通过Workbench或云助手上传下载文件（不限制本地主机类型）：（单个文件不大于500 MB）通过Workbench工具上传或下载。具体操作...
变量
例如：将视频截帧任务的输出路径指定为 oss:/test-bucket/{dirname}/{barename}_output.{autoext}，将目标文件保存到源文件所在目录下，目标文件名为 源文件名_output，并且根据目标文件类型自动添加后缀。使用场景 控制台使用场景 任务：...
外部表常见问题
本文为您介绍外部表的常见问题。问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出...
使用clickhouse-client导入数据
当您需要将本地文件的数据导入到云数据库ClickHouse时，本文将指导您如何通过clickhouse-client工具进行数据导入，以帮助您快速的完成数据导入。注意事项 支持导入到 云数据库ClickHouse 的常见文件格式为TabSeparated、...
通过HDFS Shell连接并使用文件引擎
Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS Shell管理文件引擎时的常用命令及使用示例。环境配置 请参见 下载...
Presto Server配置和SQL示例
创建映射表 创建映射表用于对应到Tablestore实例中的表，重要 创建映射表时，请注意如下事项：请确保映射表中的字段类型和表格Tablestore数据表中的字段类型相匹配更多信息，请参见 字段类型映射。映射表名称必须与Tablestore中实际的表...
媒资上传常见问题
原因二：只生成了上传凭证，但没有上传文件 如果您是通过调用 CreateUploadVideo-获取音视频上传地址和凭证 接口上传，此接口仅用于获取上传凭证和创建媒资基础信息，并非上传文件，后续您还需要调用OSS能力完成上传，完整的上传步骤，请...
功能特性
数据源配置管理 您可以在产品中添加多种不同类型的数据源配置，每个数据来源配置代表一个核对系统在后续核对工作中可以用来读取数据的数据来源配置，当前支持如下类型的数据源配置：OSS：OSS 文件系统的读取配置，需要您输入访问信息，...
二级索引
为数据表创建二级索引后，您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
- 产品推荐
- 这些文档可能帮助您