数仓开发任务流
任务流 说明 相关文档 数据集成 显示任务流中的数据集成节点：DTS数据迁移节点和离线数据集成节点。数据集成节点在项目空间的标准模式下试运行时，节点会空跑，以免生产数据迁移到测试环境的风险。配置DTS数据迁移节点 配置离线数据集成...
数据流管理
写入到数据流中的每个文档都要求包含一个@timestamp，映射为 date 或者 date_nanos 类型的字段，请确保源端数据存在@timestamp 字段数据，否则写入会报错。说明 如果源数据中没有@timestamp 字段数据，可使用 ingest pipeline 指定_ingest....
新建 SQL 文件回放任务
性能评估任务包括 完整性能评估、SQL 文件解析 和 SQL 文件回放 三种类型。本文为您介绍如何新建 SQL 文件回放任务。使用限制 迁移评估仅支持回放已完成解析的文件，详情请参见 新建 SQL 文件解析任务。操作步骤 新建 SQL 文件回放任务。...
新建ArgoDB数据源
参数 描述 元数据获取方式 支持从元数据库直接获取和HMS获取方式。使用HMS需上传hive-site.xml配置文件。认证方式支持无认证、LDAP、Kerberos。Kerberos认证方式还需上传Keytab File及配置Principal。数据库类型 根据集群中使用的元数据库...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
HTTP2连云HAL
HAL_Fread 接口原型 uint32_t HAL_Fread(void*buff,uint32_t size,uint32_t count,void*stream)接口说明 从文件流中读数据，最多读取count个项，每个项size个字节。参数说明 参数 数据类型 方向 说明 buff void*输入 接收缓存 size uint32_...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
OSS数据源
例如参数文件中两列分别表示Username和Password两个参数。john,123456 mike,234567 lilei,345678 创建OSS数据源 获取参数文件OSS地址。登录 OSS控制台。在控制台左侧导航栏中单击 Bucket列表，然后单击目标文件的Bucket名称。在 文件管理 ...
OSS数据源
例如参数文件中两列分别表示Username和Password两个参数。john,123456 mike,234567 lilei,345678 创建OSS数据源 获取参数文件OSS地址。登录 OSS控制台。在控制台左侧导航栏中单击 Bucket列表，然后单击目标文件的Bucket名称。在 文件管理 ...
参数节点
参数节点是一种特殊的虚拟节点，用于管理业务流程中的参数和实现参数在任务节点中传递，支持常量参数、变量参数和透传上游节点的参数，需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点，引导您高效使用DataWorks...
添加实时数仓Hologres数据源
本文档介绍如何在DataV中添加并使用实时数仓Hologres数据源。前提条件 已准备好待添加的实时数仓Hologres数据源。添加实时数仓Hologres数据源操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 ...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
Hive数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
使用OSS Foreign Table进行数据湖分析
本文介绍如何使用OSS Foreign Table（OSS外表，简称OSS FDW）导入OSS中的数据并进行数据分析。功能介绍 OSS FDW基于PG FDW（PostgreSQL Foreign Data Wrapper）框架进行开发，通过OSS FDW，您可以进行如下操作：将OSS数据导入本地表（行存...
添加API数据源
根据您在 请求方式 中选择不同的请求方式，可在下方的 Headers 和 Body（POST请求支持）中填写相应的请求参数。重要 切换成JSON编辑器后将无法返回表格编辑模式，请谨慎切换。单击 查看数据返回结果，查看数据源的返回结果样式。
API概览
DetachDbfs 卸载数据库文件系统 调用DetachDbfs从一台ECS实例上卸载一个按量付费的数据库文件系统。RenameDbfs 重命名数据库文件系统 调用RenameDbfs重命名一个数据库文件系统。ResizeDbfs 扩容数据库文件系统 调用ResizeDbfs扩容一个数据...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
StopDataFlow-停用数据流动
false ClientToken string 否 保证请求幂等性，从您的客户端生成一个参数值，确保不同请求间该参数值唯一。ClientToken 只支持 ASCII 字符，且不能超过 64 个字符。更多信息，请参见 如何保证幂等性。说明 若用户未指定，则系统自动使用 ...
数据缓存
当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件的缓存数据，并根据Block的offset和size，确认哪些数据从本地Block读取，哪些数据从远程获取，并缓存远程拉取的新数据。BE节点重启时，会扫描 cache_path 目录并恢复Block...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
视频分类训练
本示例中，您需要按照以下流程配置组件：使用两个 读OSS数据 组件分别读取视频数据文件作为训练数据和评估数据，即配置 读OSS数据 组件的 OSS数据路径 参数为视频数据文件的OSS路径。视频数据文件的格式如下图所示。该文件的每一行为一个...
DB数据源
步骤二：添加数据配置节点 使用数据配置节点功能，您可以根据实际需求指定全局文件参数中的某个参数为基准列，充分利用参数文件中的所有数据。您还可以根据二次定义文件中的参数，适用范围为本串联链路。在 场景配置 页签单击 添加指令 ...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
StartDataFlow-启用数据流动
false ClientToken string 否 保证请求幂等性，从您的客户端生成一个参数值，确保不同请求间该参数值唯一。ClientToken 只支持 ASCII 字符，且不能超过 64 个字符。更多信息，请参见 如何保证幂等性。说明 若用户未指定，则系统自动使用 ...
创建Impala数据源
元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
上传数据
本文介绍在我的数据页面中针对三种不同类型数据，上传不同格式数据的方法。背景信息 在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。不同类型对应可上传的数据包括：矢量：在矢量页签内，...
调整innodb_flush_log_at_trx_commit和sync_binlog参数
innodb_flush_log_at_trx_commit和sync_binlog参数分别控制了MySQL中Redo log日志的记录方式和Binlog的更新策略。根据业务需求，您可通过调整参数取值进行实例调优，以在数据库性能和数据安全性之间取得平衡。背景 优化innodb_flush_log_at...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
功能特性
通用型NAS 低频介质 存储在通用型NAS文件系统中的数据超过14天未访问，可开启生命周期功能将其转换为成本更低的低频介质存储。低频介质 极速型NAS 标准型 极速型NAS的细分存储类型，适用Linux时延敏感型企业应用，CI/CD开发测试环境、高...
配置发布API
发布API：发布API供外部应用访问Mobi应用的数据和服务。定时任务：指定时间内触发执行定时任务。前提条件 已创建应用，具体请参见 添加应用。已创建使用此API所需的后端逻辑流，具体操作请见 编排逻辑流。发布API 登录 魔笔。在顶部菜单栏...
通过 Go 客户端连接 OceanBase 数据库
引入 obkv-table-client-go 依赖，在本地 GO 仓库上执行以下命令，获取最新 obkv-table-client-go 依赖，也可以获取指定的版本。go get github.com/oceanbase/obkv-table-client-go 连接方法 云数据库 OceanBase 支持通过代理模式连接数据...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
新建 TiDB 数据源
TiDB 数据格式 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户时，您可以选择 TiCDC 或 TiDB Binlog 格式的数据，请从下拉列表中进行选择。备注（可选）数据源的备注信息。单击 测试连接，验证数据传输和数据源的网络连接，以及...
ModifyDataFlowAutoRefresh-修改数据流动自动更新配置
修改数据流动中的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持修改 Running（正常）、Stopped（停止）状态数据流动的自动更新...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
概述
适用少量文件需要一次性上传至NFS文件系统和将NFS文件系统内的数据下载到本地。使用rsync命令行工具迁移数据 支持Linux/Windows/macOS操作系统，本地Linux或macOS系统可配置crontab向云上NAS自动备份数据。上传下载后的文件元数据不变...
基于Indexing Service实现数据流管理
步骤六：分析日志 在Kibana控制台中，查看基于Indexing Service实现的数据流管理的实时日志流和实时数据指标。步骤一：创建Indexing Service实例 购买内核增强版7.10版本，并开通高级增强特性Indexing Service索引构建服务。操作步骤，请...
创建Impala数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
- 产品推荐
- 这些文档可能帮助您