CreateFileSystem-创建文件系统
例如：快照的源文件系统版本是 1，需要创建版本 2 的文件系统，可以先通过快照创建一个文件系统 A，然后再创建一个满足版本 2 配置的文件系统 B，把文件系统 A 中的数据拷贝至文件系统 B，拷贝完成后把业务迁移到文件系统 B 即可。...
拷贝文件
拷贝文件时，您必须拥有源文件的读权限及目标Bucket的读写权限。拷贝文件时，您需要确保源Bucket和目标Bucket均未设置合规保留策略，否则报错 The object you specified is immutable.不支持跨地域拷贝。例如不能将华东1（杭州）地域存储...
新版计费项
第三方存储服务迁移至OSS 第三方存储服务迁移至OSS的计费项组成如下图所示：API请求费用 在线迁移任务在数据迁移前需要对源地址和目的地址的文件进行对比、迁移时将源文件下载后上传到目的地址、迁移完成后校验文件，会产生对应API请求。...
旧版计费项
第三方NAS迁移至阿里云NAS 第三方NAS迁移至阿里云NAS的计费项组成如下图所示：ECS迁移至OSS ECS迁移至OSS的计费项组成如下图所示：API请求费用 在线迁移任务在数据迁移前需要对源地址和目的地址的文件进行对比、迁移时将源文件下载后上传到...
数据上传
该参数需要与步骤3（配置的源文件与目标表的映射关系）配合使用。先清空表数据：先清空目标表数据，再全量将数据导入至目标表中相应的映射字段。追加：将待上传数据追加至目标表相应映射字段中。主键冲突策略：若上传数据导致目标表主键...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。警告 请您务必在迁移任务完成后，校验目的端迁移...
拷贝文件
如果未指定headers参数，则目标文件与源文件的HTTP头相同，即拷贝源文件的HTTP头。headers:{ 'Cache-Control':'no-cache',/如果源Object的ETag值和您提供的ETag相等，则执行拷贝操作，并返回200 OK。'if-match':'5B3C1A2E053D763E1B002CC...
环境变量
在流水线中添加 替换文件中的环境变量 步骤，填写配置文件的 源文件路径。目标文件路径 非必填（如果填写了目标文件路径，则会生成一个新的配置文件；不填写则直接修改原文件）。查看修改效果如下：a.conf 中的 username 被修改为 b.conf ...
常见问题
将源文件系统中的数据迁移至目标文件系统中。您可以通过以下几种方式进行迁移。使用在线迁移服务迁移，具体操作，请参见 使用在线迁移服务迁移数据。使用rsync工具迁移数据，具体操作，请参见 使用rsync工具迁移数据。使用Robocopy工具迁移...
存储概述
涉及此差异点的接口如下：GetPlayInfo-获取音视频播放地址 GetImageInfo-获取图片信息 GetImageInfos-批量获取图片信息 GetAttachedMediaInfo-获取辅助媒资信息 GetMezzanineInfo-获取源文件信息 使用限制 OSS自有Bucket仅支持添加到视频...
拷贝文件
versionId='CAEQQhiBgMC5kZDE4RciIGZmNzdlYzRjYzRkODQwYjQ5ZDE0Njg5MWM0ODQzNDg3' params=dict()params['versionId']=versionId#获取指定版本的源文件的文件大小。当在同一Bucket内拷贝文件时，请将src_bucket改为bucket。head_info=src_...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 HTTP/HTTPS迁移数据的属性说明如下...
流水线源 sources
流水线运行时，会将源文件下载至文件目录下，即/root/workspace/。source_id 只能包含字母、数字和_，且必须以字母开头，长度限制 30 个字符。sources.<source_id>.type 必填。流水线源类型，Flow 目前支持 codeup、github、gitlab、...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 目前仅支持单次迁移单个Bucket数据...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 若您迁移的源地址中设置了静态网站...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 若您迁移的源地址中设置了静态网站...
如何进行安全下载
说明 源文件格式与输出的下载文件格式保持一致，不支持更改。准备成功后，选择下载项并开始下载。准备成功后，会回调 OnPreparedListener 方法。返回的TrackInfo中会包含各视频流的清晰度等信息，请选择一个Track进行下载，示例如下：...
通过整库迁移配置集成任务
Oracle数据源 文件编码：若选择Oracle数据源，需选择Oracle的 编码方式。支持 UTF-8、GBK、ISO-8859-1。数据源 选择来源数据源。若无所需数据源，您也可以单击 新建数据源 进行创建。同步目标 数据源类型 选择目标数据源类型。支持选择...
安全下载
说明 源文件格式与输出的下载文件格式保持一致，不支持更改。准备成功后，选择下载项并开始下载。准备成功后，会回调 OnPreparedListener 方法。返回的TrackInfo中会包含各视频流的清晰度等信息，请选择一个Track进行下载，示例如下：...
迁移实施
在线迁移会保留源文件的最后修改时间属性，如果目的Bucket设置了生命周期规则，且迁移后文件处于该生命周期规则生效的时间范围内，则该文件可能会在规则生效时被删除或转为指定的归档类型。迁移限制说明 若您源数据地址中有空目录、软链接...
通过整库迁移配置集成任务
Oracle数据源 文件编码：若选择Oracle数据源，需选择Oracle的 编码方式。支持 UTF-8、GBK、ISO-8859-1。Hive数据源 若选择Hive数据源，需要配置以下配置项。文件编码：支持 UTF-8、GBK、ISO-8859-1。Orc表压缩格式：支持 zlib、hadoop-...
迁移HDFS数据到OSS
LENGTH_DIFF 源文件和目标文件大小不一致的数量，并计入DIFF_FILES。CHECKSUM_DIFF Checksum校验失败的文件数，并计入COPY_FAILED。SAME_FILES 源路径与目标路径下完全相同的文件数。方式二：通过-diff 选项 您可以在示例中结合-diff 选项...
生成边转边播播放列表
生成边转边播播放列表能够对视频生成标准HLS协议的m3u8播放列表文件，无需提前生成TS文件就可立即播放且按播放进度动态转码。与传统离线转码相比，显著缩短了转码等待时间，且按需转码能大幅降低转码和存储成本。使用场景 网盘：用户上传...
OpenAPI列表
说明 资源文件上传依赖GetResourceStorageCredential接口，如果使用环境不满足文件上传要求，需要通过Dataphin平台上传和创建资源。DeleteResource 删除资源。GetGlobalResourceStorageCredential 获取上传资源文件的存储配置。说明 该接口...
Quick BI数据源上传文件成功后，如何在数据源数据库中...
概述 当Quick BI数据源上传文件成功后，如何在数据源数据库中查看到表数据信息。详细信息 在数据源的上传文件列表中点击设置按钮。点击高级配置，查看物理表名。在数据库中可以查到该表数据。适用于 Quick BI 数据源 上传文件
转换镜像格式
转换后的镜像文件保存在源镜像文件所在的目录下，本示例为 C:\Program Files\ConvertImage，您可以前往该目录获取。您也可以运行 qemu-img info<目标文件名称>命令查看转换后的镜像文件的详细信息。本地为Linux操作系统 您可以按照以下步骤...
（可选）步骤三：转换镜像格式
运行 qemu-img convert-f qcow2-O raw centos.qcow2 centos.raw 命令转换镜像文件格式，其中：f：参数值为源镜像文件的格式。O（必须是大写）：参数值分别为目标镜像格式、源镜像文件名称和目标文件名称。转换完成后，目标文件会出现在源...
Quick BI数据源上传文件后，追加文件报错：追加文件...
问题描述 Quick BI数据源上传文件后，追加文件报错：追加文件字段与源表字段类型不一致。问题原因 源表的字段类型为数值型，追加表的Excel该字段下面为空，Quick BI默认判别为文本，所以导致追加表与源表类型不一致。解决方案 在追加的...
移动视频
动态数据 单击 播放源地址流 或 播放源地址文件 提交框右侧的配置数据源按钮，选择数据源类型，单击 确定，完成配置。可选数据源类型有 设备、接口、应用推送、页面变量。播放源地址流或播放源地址文件将基于关联的数据源实时更新。步骤三...
Quick BI数据源上传文件后怎样追加数据
概述 Quick BI数据源上传文件后怎样追加数据。详细信息 数据源添加成功后，点击已添加数据源会展示数据源指定数据库的表信息，页面上有上传文件按钮。点击上传文件按钮可以上传Excel表，点击数据表旁边的上传文件可查看已上传文件的信息。...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
Gzip压缩
背景信息 当源站文件的大小在1 KB~10 MB时，您可以使用Gzip压缩来压缩文件（即1 KB以下和10 MB以上大小的文件不做压缩）。Gzip压缩支持的文件类型有 text/xml、text/plain、text/css、application/javascript、application/x-javascript、...
压缩规则
源站 当源站文件的大小在1 KB-10 MB之间时，才可以使用Gzip压缩或Brotli压缩，对1 KB以下和10 MB以上大小的文件不做压缩。当源站开启了压缩功能，且服务端响应中携带了响应头 Content-Encoding 时，压缩规则将不再生效。当源站发送的响应...
概述
目前Quick BI支持数据库数据源、文件数据源和应用数据源三类，本文为您介绍Quick BI支持的数据源详情。支持的数据源 下面为您介绍Quick BI支持的数据库版本及与数据库的连通方式情况。说明 表示支持，表示不支持。数据源 数据源类型 支持的...
分析数据源
通过分析功能，您可以查看数据源的总数据量（大小）、总文件数量、文件的修改时间、文件的访问时间、文件大小占比和TOP5文件类型等概览信息。本文介绍如何使用 云备份 分析数据源。前提条件 已完成 添加数据源。启动分析 启用数据源分析...
Brotli压缩
当源站文件的大小在1 KB-10 MB时，您可以使用智能压缩或Brotli压缩来压缩文件（即1 KB以下、10 MB以上大小的文件不做压缩）。Brotli压缩支持的文件类型有 text/xml、text/plain、text/css、application/javascript、application/x-...
- 产品推荐
- 这些文档可能帮助您