Parquet（推荐）
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt...
ListLifecycleRetrieveJobs-查询数据取回任务列表
completed DiscoveredFileCount long 执行数据取回任务读取文件的总个数。100 UpdateTime string 任务更新时间。执行 ISO8601 标准表示，返回格式：yyyy-MM-ddTHH:mm:ssZ。2021-02-30T11:08:08Z Paths array string 指定取回的目录或文件。...
数据处理费用
说明 通过SelectObject、HTTP Range等方式读取文件中的部分内容时，按照取回的字节范围来计算；其他方式访问低频访问文件时，按照文件的实际大小计算。按量付费：低频访问数据取回费用=数据取回量（GB）×低频访问文件数据取回单价 资源包...
缓存配置
如果源站未配置Cache配置，支持按目录和文件后缀两种方式设置（支持设置完整路径缓存策略）。SCDN的缓存是有可能由于热度较低被提前剔除出SCDN节点的。注意事项 对于不经常更新的静态文件，建议将缓存时间设置为1个月以上（eg：图片类型，...
开发指南
背景信息 HDFS相关的操作如下所示：HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除目录 删除文件 移动或重命名文件 移动或重命名目录 HDFS初始化 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。初始化HDFS时会加载HDFS的配置...
配置FTP输入组件
sheet选择 支持 按名称 和 按索引 两种方式。若读取多个sheet，则需保持数据格式一致。sheet名称：可读取多张sheet，用英文逗号（,）隔开，也可以输入*读取所有sheet。和英文逗号不可混用。例如：sheet1,sheet2。sheet索引：可读取多张...
配置FTP输入组件
sheet选择 支持 按名称 和 按索引 两种方式。若读取多个sheet，则需保持数据格式一致。sheet名称：可读取多张sheet，用英文逗号（,）隔开，也可以输入*读取所有sheet。和英文逗号不可混用。例如：sheet1,sheet2。sheet索引：可读取多张...
FTP数据源
否 无 fileFormat 文件写出的格式，包括CSV和TEXT两种，CSV是严格的CSV格式，如果待写数据包括列分隔符，则会按照CSV的转义语法转义，转义符号为双引号。TEXT格式是用列分隔符简单分割待写数据，对于待写数据包括列分隔符情况下不做转义。...
通过DMS导入数据库文件
bdm721*_db@*【bdm721*.my3w.com:3306】文件编码 选择数据库的文件编码：UTF-8 GBK ISO-8859-1 自动识别 自动识别 导入模式 选择导入模式，当前支持两种导入模式：极速模式：在执行阶段读取文件，将SQL语句直接执行到指定的目标库。...
管理接入点
查看接入点根目录 您可以通过以下两种方式查看接入点根目录。在接入点列表页面查看。在 接入点列表 页面，查看目标文件系统的 接入点根目录。在文件系统详情页面查看。在 文件系统列表 页面，找到目标文件系统，单击 管理，在 文件系统详情...
OSS数据源
OSS数据源配置模式 OSS数据源配置支持 数仓模式 和 自由模式，两种模式差异如下：OSS数据源配置 使用场景 OSS路径格式要求 识别精度 性能 数仓模式 用户直接上传数据到OSS，并期望构建可分析与计算的标准数据仓库。库/表/文件”或者“库/表...
背景信息以及准备工作
目前仅支持通过DLA读取CSV和JSON两种类型的Redis数据。前提条件 通过DLA读取Redis数据前，您需要通过以下操作在Redis中准备好测试数据。创建实例 DLA和Redis所属地域必须相同，否则无法进行本文档操作。由于DLA将通过Redis的VPC连接Redis...
通过RAM对OSS进行权限管理
场景1：授予RAM用户读取文件内容的权限，不需要列出文件的权限。RAM用户知道文件的完整路径，可以使用完整的文件路径直接去读取文件内容，通常会将这样的权限授予应用程序。{"Version":"1","Statement":[{"Effect":"Allow","Action":["oss:...
目录和文件访问权限
权限名称 文件 目录 Read（R）可以读取文件的内容。查看目录需要Read和Execute权限。Write（W）可以在文件中写入或追加内容。在目录下创建节点需要Write和Execute权限。Execute（X）HDFS 中文件的Execute权限没有意义。遍历目录时需要目录...
配置同步任务
输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。当数据同步来源端为 Hive、TDH Iceptor 时，配置参数如下。参数 描述 数据源 支持根据数据类型筛选数据源。Dataphin支持的同步来源数据源类型包括Hive、TDH Iceptor。表 选择...
使用列索引加速ETL
使用限制 该功能仅适用于以下两种SQL语句：CREATE TABLE table_name[AS]SELECT.INSERT.SELECT.使用方法 您可以在数据库中通过设置下表中的参数值来选择是否从只读列存节点读取数据，以及在读取数据时是否需要压缩文件。参数 说明 etl_from_...
方案扩展
本文介绍Feed流系统的两种扩展模型：推拉结合方案和加入排序后的Rank流方案。推拉结合方案 虽然使用推模式可以满足Feed流系统需求，但随着用户数量增长，数据量也急剧增长。在推模式的工作下，数据量会膨胀得更多。针对这个缺点，可以考虑...
NFS协议
文件内容Cache示例：ECS-1读取了文件X的0~4K：第一次读，cache不命中，访问服务器，读取数据，并缓存在本地。ECS-2更新了文件X的0~4K：数据写到服务端，更新FileAttr中的mtime。ECS-1再次读文件X的0~4K：第二次读，如果时间距离第一次小于T...
PHP SDK使用说明
配置文件的内容如下：[default]access_key_id=YOUR_ACCESS_KEY_ID access_key_secret=YOUR_ACCESS_KEY_SECRET 请将 YOUR_ACCESS_KEY_ID 和 YOUR_ACCESS_KEY_SECRET 替换为您的实际AK/SK值。然后，可以使用下一步的PHP代码读取配置文件并...
文件操作
返回值 字段 类型 必选 说明 result object 是 返回结果，具体请查看 IFileItem 类型 getFileContent 方法 获取文件内容（一般用来读取文本文件内容）。注意，此方法获取文件内容直接赋值给变量，如果文件太大（太占用内存）不建议使用此...
创建OSS外部表
OSS外部表包含分区表和非分区表两种类型，实际需要创建哪种类型的表，主要取决于OSS中数据文件的存储路径格式。当数据文件以分区路径方式存储时，需要创建分区表；否则创建非分区表。更多读取分区数据信息，请参见 读取以分区方式存储的OSS...
读取以分区方式存储的OSS数据
通常，解决该问题有如下两种方法：（推荐）方式一：在OSS上将数据以标准分区路径或自定义分区路径方式存储。通过MaxCompute新建OSS外部表时，您需要在建表语句指定分区及 oss_location 信息。推荐您使用标准分区路径。更多分区路径信息，请...
授予云备份客户端读取SMB NAS文件权限
操作步骤 请按照如下步骤授予 云备份 客户端读取文件权限。连接ECS实例或登录本地服务器。连接ECS实例操作，请参见 连接ECS实例。使用组合键 Win+R，打开 运行 工具，之后输入 services.msc，单击 确定。在服务中找到Aliyun Cloud Hybrid ...
集成OSS应用示例
fetch 读取文件哈希值，通过查询Fabric链码确认哈希值存在于账本中，然后从OSS下载对应的文件到本地。push and fetch 依赖一些环境变量，需预先进行设置：export baas_user="user"#在阿里巴巴 BaaS 控制台中创建的用户名。export baas_...
资源管理（版本号1.7.0-2.3.0）
6.3 导入导出 6.3.1 导出：1）导出当前筛选后的所有结果 2）导出当前所有选中的资源 注意：如果通过以上两种方法，导出的资源中只包含变量时，在本地默认下载路径生成一个.xlsx文件，便于本地编辑，否则生成scada文件。3）导出文件夹 导出...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
配置OSS
用户访问时只需访问最近的CDN节点读取文件，而无需访问OSS的源文件，也不会消耗OSS的外网流量。不仅可提升边缘用户的访问速度和体验，同时，CDN的外网流量费用相对OSS外网流量较低，仅为OSS外网流量的50%，可有效的节省整体应用的网络费用...
配置本地存储
本地存储目前支持 宿主机本地文件 和 emptyDir 两种类型。宿主机本地文件 文件类型 Value 说明 默认 空字符串 不执行类型检查，直接挂载。（新建）文件目录 DirectoryOrCreate 文件目录，如果不存在，则新建。文件目录 Directory 文件目录...
常见问题
风险识别的服务调用有何调用限制？单用户QPS为200。风险识别的服务耗时一般是多久？风控服务执行一般约为100 ms。地址评分支持多语言么？目前地址评分服务仅支持中文。地址评分支持多长的地址？...读取方式是：ExecuteRequest.Data。
文件数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
BLOB数据类型（邀测中）
} 数据读取 Lindorm支持以下两种方式读取BLOB列的数据：方式一：一次性读取一行数据中整个BLOB列的全部内容，并保存至一个字节数组中。直接读取整个BLOB列的完整内容 ResultSet resultSet=stmt.executeQuery("select*from"+tableName+...
文件数据源
背景信息 使用文件数据源功能需将参数文件上传至PTS控制台或OSS上，参数文件规范如下：文件格式支持CSV及ZIP格式，ZIP压缩包内的文件需是以CSV结尾的单个文件。说明 请勿直接修改XLSX文件的后缀。推荐使用EXCEL、Numbers等软件导出，或使用...
验证域名归属权
视频点播为您提供DNS解析验证和文件验证两种验证方法。您可以任选其一完成域名归属权验证，验证通过可以正常在视频点播控制台添加加速域名。方法一：DNS解析验证（推荐）本文以添加 example.com 为例，为您介绍验证域名归属权的操作方法。...
文件操作
返回值 字段 类型 必选 说明 result object 是 返回结果，具体请查看 IFileItem 类型 getFileContent 方法 说明 标准模式和托管模式都支持 获取文件内容（一般用来读取文本文件内容）。注意，此方法获取文件内容直接赋值给变量，如果文件太...
读CSV文件
重要 配置的数据类型需要与CSV文件每一列的数据类型保持一致，否则该列内容会读取失败。字段分隔符 字段的分隔符，默认为半角逗号（,）。处理无效值的方法 解析Tensor、Vector和MTable类型的数据失败时，处理无效数据的方法。它们是Alink...
动态加载UDF
目前UDF文件支持以下两种方式：方式一：将UDF的全部内容打成一个JAR包（例如，udfjar.jar），上传到文件系统中。如果OSS属于其他账号，或使用的是ACK集群，则需保证该JAR包有公开的读权限。重要 包名不可与现有连接器或UDF重名。建议包名只...
Resource
read read(resource_name,encoding='utf-8')方法描述 读取资源文件内容 参数说明 resource_name资源文件名称，相对于工程中resources文件夹目录 encoding资源文件的编码格式，默认utf-8 返回值说明 返回资源文件内容调用样例-rpa.project....
- 产品推荐
- 这些文档可能帮助您