常见问题
将源文件系统中的数据迁移至目标文件系统中。您可以通过以下几种方式进行迁移。使用在线迁移服务迁移，具体操作，请参见 使用在线迁移服务迁移数据。使用rsync工具迁移数据，具体操作，请参见 使用rsync工具迁移数据。使用Robocopy工具迁移...
数据上传
该参数需要与步骤3（配置的源文件与目标表的映射关系）配合使用。先清空表数据：先清空目标表数据，再全量将数据导入至目标表中相应的映射字段。追加：将待上传数据追加至目标表相应映射字段中。主键冲突策略：若上传数据导致目标表主键...
拷贝文件
versionId='CAEQQhiBgMC5kZDE4RciIGZmNzdlYzRjYzRkODQwYjQ5ZDE0Njg5MWM0ODQzNDg3' params=dict()params['versionId']=versionId#获取指定版本的源文件的文件大小。当在同一Bucket内拷贝文件时，请将src_bucket改为bucket。head_info=src_...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 HTTP/HTTPS迁移数据的属性说明如下...
流水线源 sources
流水线运行时，会将源文件下载至文件目录下，即/root/workspace/。source_id 只能包含字母、数字和_，且必须以字母开头，长度限制 30 个字符。sources.<source_id>.type 必填。流水线源类型，Flow 目前支持 codeup、github、gitlab、...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
如何进行安全下载
说明 源文件格式与输出的下载文件格式保持一致，不支持更改。准备成功后，选择下载项并开始下载。准备成功后，会回调 OnPreparedListener 方法。返回的TrackInfo中会包含各视频流的清晰度等信息，请选择一个Track进行下载，示例如下：...
通过整库迁移配置集成任务
Oracle数据源 文件编码：若选择Oracle数据源，需选择Oracle的 编码方式。支持 UTF-8、GBK、ISO-8859-1。数据源 选择来源数据源。若无所需数据源，您也可以单击 新建数据源 进行创建。同步目标 数据源类型 选择目标数据源类型。支持选择...
安全下载
说明 源文件格式与输出的下载文件格式保持一致，不支持更改。准备成功后，选择下载项并开始下载。准备成功后，会回调 OnPreparedListener 方法。返回的TrackInfo中会包含各视频流的清晰度等信息，请选择一个Track进行下载，示例如下：...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 若您源数据地址中有空目录、软链接...
通过整库迁移配置集成任务
Oracle数据源 文件编码：若选择Oracle数据源，需选择Oracle的 编码方式。支持 UTF-8、GBK、ISO-8859-1。Hive数据源 若选择Hive数据源，需要配置以下配置项。文件编码：支持 UTF-8、GBK、ISO-8859-1。Orc表压缩格式：支持 zlib、hadoop-...
迁移HDFS数据到OSS
LENGTH_DIFF 源文件和目标文件大小不一致的数量，并计入DIFF_FILES。CHECKSUM_DIFF Checksum校验失败的文件数，并计入COPY_FAILED。SAME_FILES 源路径与目标路径下完全相同的文件数。方式二：通过-diff 选项 您可以在示例中结合-diff 选项...
生成边转边播播放列表
生成边转边播播放列表能够对视频生成标准HLS协议的m3u8播放列表文件，无需提前生成TS文件就可立即播放且按播放进度动态转码。与传统离线转码相比，显著缩短了转码等待时间，且按需转码能大幅降低转码和存储成本。使用场景 网盘：用户上传...
OpenAPI列表
说明 资源文件上传依赖GetResourceStorageCredential接口，如果使用环境不满足文件上传要求，需要通过Dataphin平台上传和创建资源。DeleteResource 删除资源。GetGlobalResourceStorageCredential 获取上传资源文件的存储配置。说明 该接口...
安装
说明 使用您的Apple ID登录后从 苹果开发者网站 下载Xcode command line tools。注意选择与您的系统匹配的版本。下载完成后双击加载dmg文件，然后在打开的窗口中双击安装程序进行安装，在安装的过程中需要输入您的系统密码。在终端输入以下...
点播资源迁移
说明 需要整理迁移前后资源关系的用户，上传程序应当记录源文件地址和上传后VideoId的关联，如：在上传时打印日志形式记录、上传时源文件地址写入视频媒资信息记录等，具体如何记录依赖于用户场景。如果使用URL批量拉取，该接口同步返回...
Quick BI数据源上传文件成功后，如何在数据源数据库中...
概述 当Quick BI数据源上传文件成功后，如何在数据源数据库中查看到表数据信息。详细信息 在数据源的上传文件列表中点击设置按钮。点击高级配置，查看物理表名。在数据库中可以查到该表数据。适用于 Quick BI 数据源 上传文件
转换镜像格式
ECS仅支持导入RAW、VHD和QCOW2格式的镜像文件。如果您的镜像文件是其他格式，需要转换格式后再导入。本文介绍如何通过开源的转换工具qemu-img转换镜像文件的格式。约束限制 qemu-img工具支持RAW、QCOW2、QCOW1、VMDK、VDI、VHD、VHDX或QED...
（可选）步骤三：转换镜像格式
ECS仅支持导入RAW、VHD和QCOW2格式的镜像文件。如果是其他格式的镜像文件，需要转换格式后再导入。本文介绍如何利用qemu-img工具将其他格式的镜像文件转换为VHD或RAW格式。背景信息 qemu-img支持以下镜像格式的转换：RAW、QCOW2、QCOW1、...
Quick BI数据源上传文件后，追加文件报错：追加文件...
问题描述 Quick BI数据源上传文件后，追加文件报错：追加文件字段与源表字段类型不一致。问题原因 源表的字段类型为数值型，追加表的Excel该字段下面为空，Quick BI默认判别为文本，所以导致追加表与源表类型不一致。解决方案 在追加的...
移动视频
动态数据 单击 播放源地址流 或 播放源地址文件 提交框右侧的配置数据源按钮，选择数据源类型，单击 确定，完成配置。可选数据源类型有 设备、接口、应用推送、页面变量。播放源地址流或播放源地址文件将基于关联的数据源实时更新。步骤三...
Quick BI数据源上传文件后怎样追加数据
概述 Quick BI数据源上传文件后怎样追加数据。详细信息 数据源添加成功后，点击已添加数据源会展示数据源指定数据库的表信息，页面上有上传文件按钮。点击上传文件按钮可以上传Excel表，点击数据表旁边的上传文件可查看已上传文件的信息。...
CDN加速ECS资源
配置回源HOST 提高CDN节点回源下载文件的效率 开启Range回源功能后，CDN节点请求源站ECS上的大文件时，ECS将按照CDN请求的Range范围返回分片内容，可减少回源流量消耗、减少资源响应时间。说明 适用于音视频等较大文件的内容分发，不适用于...
CDN加速OSS资源
提高CDN节点回源下载文件的效率 开启Range回源功能后，CDN节点请求源站OSS上的大文件时，OSS将按照CDN请求的Range范围返回分片内容，可减少回源流量消耗、减少资源响应时间。说明 适用于音视频等较大文件的内容分发，不适用于图片小文件等...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
Gzip压缩
背景信息 当源站文件的大小在1 KB~10 MB时，您可以使用Gzip压缩来压缩文件（即1 KB以下和10 MB以上大小的文件不做压缩）。Gzip压缩支持的文件类型有 text/xml、text/plain、text/css、application/javascript、application/x-javascript、...
压缩规则
源站 当源站文件的大小在1 KB-10 MB之间时，才可以使用Gzip压缩或Brotli压缩，对1 KB以下和10 MB以上大小的文件不做压缩。当源站开启了压缩功能，且服务端响应中携带了响应头 Content-Encoding 时，压缩规则将不再生效。当源站发送的响应...
概述
目前Quick BI支持数据库数据源、文件数据源和应用数据源三类，本文为您介绍Quick BI支持的数据源详情。支持的数据源 下面为您介绍Quick BI支持的数据库版本及与数据库的连通方式情况。说明 表示支持，表示不支持。数据源 数据源类型 支持的...
分析数据源
通过分析功能，您可以查看数据源的总数据量（大小）、总文件数量、文件的修改时间、文件的访问时间、文件大小占比和TOP5文件类型等概览信息。本文介绍如何使用 云备份 分析数据源。前提条件 已完成 添加数据源。启动分析 启用数据源分析...
迁移实施
在线迁移前会检查源地址和目的地址的文件，但是若您源和目的地址有相同文件名的文件，且在迁移任务中配置了覆盖方式为覆盖，迁移时会直接覆盖目的地址的文件。若两个文件内容不同，必须更改文件名或做好备份。步骤一：创建源地址 使用创建...
文件数据源
文件数据源功能通常与数据配置节点功能搭配使用，用于需要自定义压测请求的场景，例如使用指定用户模拟登录场景等。本文介绍如何使用文件数据源。背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：支持...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
文件数据源
文件数据源功能通常与数据配置节点功能搭配使用，用于需要自定义压测请求的场景，例如使用指定用户模拟登录场景等。本文介绍如何使用文件数据源。背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：支持...
Quick BI无法使用文件数据源
问题描述 Quick BI中创建数据源时，无法创建使用文件数据源，找不到上传文件的入口是什么原因？问题原因 当前ADB和HOLO数据库不支持上传文件的功能。解决方案 当连接数据源为MySQL、SQL Server、MaxCompute或Oracle，且拥有该数据源的读写...
功能特性
删除文件 拷贝文件 拷贝文件是指在不改变文件内容的情况下，将同一地域下的源Bucket内的文件复制到目标Bucket。拷贝文件 解冻文件 归档存储、冷归档存储或者深度冷归档存储类型的Object需要解冻（Restore）之后才能读取。解冻文件 重命名...
配置FTP输入组件
文件路径 填写文件路径。支持多个文件路径输入，用;分割。支持通配符，例如：指定/dataphin/*代表读取dataphin目录下所有的文件。文件类型 选择 Text 或 CSV 文件类型。xls、xlsx 文件类型，请参见 xls和xlsx参数配置说明。文件不存在时 ...
- 产品推荐
- 这些文档可能帮助您