新建变量组及全局变量
Dataphin提供全局变量设置能力，将频繁使用的变量设置为全局变量，可以避免在任务代码中重复定义，减少后期维护成本。同时，全局变量包含权限管控和代码审核，提高变量使用的安全性。本文为您介绍如何新建变量组和全局变量。新建变量组 ...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
合约关键字
function(){public|private|internal|external}[modifier][pure|constant|view|payable][returns()]函数权限关键字 public：只有 public 类型的函数才可以供外部访问，当一个状态变量的权限为 public 类型时，它就会自动生成一个可供外部...
变量
说明 除系统变量外，其他变量统称为自定义变量，自定义变量名不可重复定义，若自定义变量和系统变量重名，则自定义变量的值会覆盖系统变量的值，即自定义变量的优先级更高。时间变量 任务流变量（全局变量）：任务流变量基于业务时间（运行...
简单上传
上传Unicode字符时，OSS会将Unicode字符自动转换为UTF-8编码的Bytes进行上传。coding:utf-8-*-import oss2 from oss2.credentials import EnvironmentVariableCredentialsProvider#从环境变量中获取访问凭证。运行本代码示例之前，请确保已...
使用函数计算清洗数据
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格...
使用函数计算
通过函数计算访问表格存储，对表格存储增量数据进行实时计算。背景信息 函数计算（Function Compute，简称FC）是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准备...
使用最后一次访问时间的生命周期规则实现数据智能分层
您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而达到数据的智能分层存储，最终降低存储成本。场景说明 假设某多媒体网站...
JDBC连接表格存储
表格存储数据类型转换为Java类型 当使用ResultSet方法获取SQL返回结果时，表格存储数据类型自动转换为Java数据类型的注意事项请参见下表。表格存储数据类型 转换原则说明 Integer 转换为整型时，如果值超出类型的数值范围，则系统会抛出...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
应用托管概述
应用部署高级设置 应用的高级设置功能包括启动命令、环境变量、Host绑定、健康检查、日志收集和持久存储等，您可以在创建应用时设置，也可以在创建应用后（后续部署应用时）依据业务需求设置。如果您选择在应用创建后设置，应用将会重启...
统一存储常见问题
解答：统一存储提供默认的加密方法，密钥会使用 mPaasInit 方法传入的 appKey 来自动生成，建议接入 mPaaS 的应用使用自己的密钥。实现 mPaasAppInterface 接口的下列方法，将密钥以 NSData 的方式传给统一存储。pragma mark 统一存储/*...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
基于最后一次访问时间的生命周期规则
您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而达到数据的冷热分层存储，最终降低存储成本。使用场景 多媒体场景 某网站的...
访问跟踪
如果您希望配置基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测Bucket中Object的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型转换，最终降低存储成本，您需要先通过本文所示的方法开启访问跟踪。...
基于最后一次修改时间的生命周期规则
您可以配置基于最后一次修改时间（Last Modified Time）的生命周期规则，定期将Object从热存储类型转为冷存储类型，或者删除Object，以降低存储成本。使用场景 某医疗机构的医疗档案，上传至 OSS 后半年内需要偶尔访问，半年后基本不再访问...
简单上传
冷归档存储：提供高持久性、比归档存储的存储成本更低的对象存储服务。有最小计量单位（64 KB）和最低存储时间（180天）的要求。数据需解冻后访问，解冻时间根据数据大小和选择的解冻模式决定，解冻会产生数据取回费用以及取回请求费用。...
ModifyTemplate-修改模板
支持变量匹配，包含{AppName}、{StreamName}、{UnixTimestamp}、{Sequence} {UnixTimestamp}、{Sequence}必填一个 osspath/snapshot/{AppName}/{StreamName}/{UnixTimestamp}.jpg JpgOnDemand string 否 JPG 的存储路径，用于按需截图。...
CreateTemplate-创建模板
支持变量匹配，包含{AppName}、{StreamName}、{UnixTimestamp}、{Sequence} {UnixTimestamp}、{Sequence}必填一个 osspath/snapshot/{AppName}/{StreamName}/{UnixTimestamp}.jpg JpgOnDemand string 否 JPG 的存储路径，用于按需截图。...
删除存储空间
当您不再需要保留某个存储空间（Bucket）时，可将其删除，以免产生额外费用。警告 删除Bucket后，Bucket中的数据无法恢复，请在删除前确认数据已不再使用。如果需要继续使用Bucket中的数据，请提前做好备份。关于备份的更多信息，请参见 ...
生命周期
并不是所有上传至OSS的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍需要继续以冷存储类型进行保存。或者基于业务使用场景，希望批量删除Bucket内不再需要保存的数据。您可以配置基于最后一次修改时间（Last Modified ...
列举存储空间
存储空间（Bucket）按字母序排列。您可以结合实际场景列举当前账号下的所有存储空间、指定前缀的存储空间、指定个数的存储空间等。列举条件 您可以通过设置prefix、marker或者max-keys参数列举满足指定条件的存储空间。参数名称 描述 ...
拷贝文件
本文介绍如何在受版本控制的存储空间（Bucket）中拷贝文件（Object）。您可以通过CopyObject的方法拷贝小于1 GB的文件，通过分片拷贝（UploadPartCopy）的方法拷贝大于1 GB的文件。拷贝小文件 对于小于1 GB的文件，您可以通过CopyObject...
删除存储空间
当您不再需要保留某个存储空间（Bucket）时，可将其删除，以免产生额外费用。警告 删除Bucket后，Bucket中的数据无法恢复，请在删除前确认数据已不再使用。如果需要继续使用Bucket中的数据，请提前做好备份。关于备份的更多信息，请参见 ...
访问跟踪
如果您希望配置基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测Bucket中Object的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型转换，最终降低存储成本，您需要先通过本文所示的方法开启访问跟踪。...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
删除存储空间
当您不再需要保留某个存储空间（Bucket）时，可将其删除，以免产生额外费用。警告 删除Bucket后，Bucket中的数据无法恢复，请在删除前确认数据已不再使用。如果需要继续使用Bucket中的数据，请提前做好备份。关于备份的更多信息，请参见 ...
上传文件
简单上传 在已开启版本控制的Bucket中，OSS会为新添加的Object自动生成唯一的版本ID，并在响应header中通过x-oss-version-id形式返回。在暂停了版本控制的Bucket中，新添加的Object的版本ID为“null”，上传同名Object，后一次会覆盖前一次...
使用自定义域名
文件（Object）上传至存储空间（Bucket）后，OSS会自动生成文件URL，您可以直接通过文件URL访问该文件。如果您希望通过自定义域名访问这些文件，需要将自定义域名绑定至文件所在的Bucket，并添加CNAME记录。前提条件 已绑定自定义域名。...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
评分卡训练
评分卡是信用风险评估领域常用的建模工具，其原理是通过分箱输入将原始变量离散化后再使用线性模型（逻辑回归或线性回归等）进行模型训练，其中包含特征选择及分数转换等功能。同时也支持在训练过程中为变量添加约束条件。说明 如果未指定...
访问跟踪
如果您希望配置基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测Bucket中Object的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型转换，最终降低存储成本，您需要先通过本文所示的方法开启访问跟踪。...
触发器
使用触发器可以对存储空间（Bucket）中的增量文件进行批量处理。例如将Bucket某个目录中新增的后缀为.docx的文件转换成.pdf格式、将新增的.mov格式的文件转码为.mp4等。和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行...
生命周期
如果您希望OSS自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而达到数据的冷热分层存储，最终降低存储成本，您可以配置基于最后一次访问时间（Last Access Time）的生命周期规则。注意事项 在配置基于...
删除存储空间
当您不再需要保留某个存储空间（Bucket）时，可将其删除，以免产生额外费用。警告 删除Bucket后，Bucket中的数据无法恢复，请在删除前确认数据已不再使用。如果需要继续使用Bucket中的数据，请提前做好备份。关于备份的更多信息，请参见 ...
云存储网关软件版公测
相比之下，云存储网关软件版在内存维护了一部分写的缓存用于IO加速，并且维护了结构更加复杂、占用了更多内存的变量，因此对内存要求更高。CPU占用方面，云存储网关软件版的CPU使用更加轻量稳定。ossfs的CPU使用率会在文件集中上传时爆发...
删除存储空间
当您不再需要保留某个存储空间（Bucket）时，可将其删除，以免产生额外费用。警告 删除Bucket后，Bucket中的数据无法恢复，请在删除前确认数据已不再使用。如果需要继续使用Bucket中的数据，请提前做好备份。关于备份的更多信息，请参见 ...
- 产品推荐
- 这些文档可能帮助您