快速使用ossbrowser
重要 如果上传的文件与Bucket中已有的文件重名，则覆盖已有文件。上传文件夹 单击页面上方 图标，上传文件夹。下载文件 选中文件，然后单击操作列的 下载 进行下载。说明 您也可以选中多个文件，然后单击页面上方的 下载 进行批量下载。...
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
Delta Lake 快速开始二
通过元存储创建表并显示表中内容%pyspark#通过路径在元存储中创建表 spark.sql("CREATE TABLE IF NOT EXISTS events_partition USING DELTA LOCATION '/dome-test/delta/events_partition'")#从元存储和路径中读取表 df1=spark.table(...
INSERT
对于行存、列存、行列共存表的区别一方面是内存的Mem Table的索引格式不同，另外一方面在Flush到文件的过程中：行存表：会Flush成行存储的文件，即SST格式。列存表：会Flush成列存文件，即ORC格式。行列共存表：会分别Flush为行存和列存两...
管理数据树
在 文件存储目录 页签，自定义 数据表名称 并选择需要上传的文件夹，单击 保存至此处。说明 数据表名称不支持重复。数据表创建规范：长度不超过63个字符，由小写字母、数字和下划线构成，且必须由小写字母开头。等待数据导入完成后，单击 ...
cp（拷贝文件）
拷贝文件（Object）是指在不改变文件内容的情况下，将同一地域下的源存储空间（Bucket）内的文件复制到目标Bucket，或者将文件复制到相同存储空间（Bucket）的其他目录。您可以通过ossutil的 cp 完成拷贝。注意事项 要拷贝文件，您必须具有...
OSS数据源
例如xxx的bucket中有yunshi文件夹，文件夹中有ll.txt文件，则Object直接填yunshi/ll.txt。支持使用 调度参数 并配合调度，灵活生成Object文件名称与路径。当指定单个OSS Object时，OSS Reader暂时只能使用单线程进行数据抽取。后期将考虑在...
如何使用OSS更省钱？
使用OSS时，您可以根据业务数据的变化合理规划存储类型、利用预付费与后付费策略等方式有效降低使用成本。注意事项 以下案例单价来自2024年04月12日阿里云官网公布的OSS详细价格信息。因统计的价格日期不同，各个计费项的单价可能存在差异...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
通过命令行工具使用宽表模型
通过Tablestore CLI使用 表格存储 宽表模型（WideColumn）时，您需要根据所用平台下载相应命令行工具，然后使用命令行工具进行开通表格存储服务、创建实例、配置接入实例信息、创建数据表、读写表中数据以及使用SQL查询数据的操作。...
Stable Diffusion AI绘画服务实例部署文档
Stable Diffusion AI绘画服务生成的图片结果（包括prompt等参数及生成的图片）需要进行存储，在Stable Diffusion服务的配置中，支持直接将图片结果存储在阿里云RDS MySQL数据库中，本文介绍如何配置Stable Diffusion服务实例并实现AI绘画。...
创建EMR表
选择存储格式 根据需要选择表中文件的存储格式。在 表结构设计 区域，配置各项参数。参数 描述 添加字段 单击 添加字段，配置字段信息后，单击 保存，即可新增一个字段。上移 调整未创建的表的字段顺序。如果为已经创建的表调整字段顺序，...
用户行为表数据要求
表中无主键，相同的用户ID可以有多条记录，行为时间、行为类型、行为渠道、行为属性中任一条件不同均需单独作为一行。支持分区表。FAQ 以前的数据表样例中有一类行为对象字段，现在怎么没有了？答：从V4.4.0开始，为了配合实现上报的 事件 ...
基于NAS部署可更换模型的FC Stable Diffusion进行AI...
阿里云文件存储 NAS是一种分布式的网络文件存储，为ECS、HPC、Docker、BatchCompute等提供安全、无限容量、高性能、高可靠、简单易用的文件存储服务。阿里云文件存储NAS支持与函数计算无缝集成。这使您的函数可以像访问本地文件系统一样...
事件中心
请在事件中心获取事件模型，用于采集和上报事件数据程序的编码，并设置上报的事件数据是否存储于分析源，保存为用户行为表。事件模型 采集和上报一次完整的行为事件，可能包含以下数据：事件编码：即事件ID，必传。用户ID：必传。事件属性...
视频分类训练
若标签文件中不包含文本，标签文件每行的存储格式为 视频文件名 标签，元素之间使用空格分隔，若标签文件中包含文本，每行的存储格式为 视频文件名\t文本\t标签，元素之间使用\t分隔 无 评估数据文件oss路径 否 如果没有通过输入桩配置算法...
数据接入概述
本地上传数据源 上传本地文件后，数据存储在指定的自定义存储表中。功能 支持说明 数据解析 作为一个数据解析任务的输出对象，以存储所需数据。冷数据存储 以表格的形式，展示本地文件数据。分析洞察 作为一个SQL分析任务的输出对象，以...
使用函数计算清洗数据
将数据写入到表格存储时，您可以通过函数计算对新增的数据做简单的清洗，将清洗后的数据写回到表格存储的另一种数据表中。同时，您也可以实时访问表格存储中的原始数据和结果数据。样例场景 假设写入表格存储的为日志数据，且日志数据包括...
查看NAS性能监控
文件存储 NAS 已与云监控无缝集成。通过性能监控功能，您可以实时查看文件系统的IOPS、吞吐、延迟等性能概况。本文介绍如何查看 NAS 文件系统的性能监控数据。前提条件 已创建 NAS 文件系统。具体操作，请参见 创建文件系统。已开通云监控...
添加体验空间数据库
数据表被项目引用，其中存在已发布项目：系统会提示用户有哪些已发布的项目引用了当前表，并提示用户不能直接删除，需要关闭项目的发布状态或删除项目对当前表的引用后才能删除。在删除弹窗中单击 确定，删除数据表。后续操作 新建项目
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
logging（日志转存）
访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket。您可以通过 logging 命令开启、查询、关闭Bucket的日志转存配置。注意事项 要开启日志...
使用说明
shopx,x_id,100 shopy,y_id,200 shopz,z_id 说明 data.txt文件中第三行数据与下文中创建的分区表sale_detail的表定义不符，sale_detail定义了三列，但该行数据只有两列。上传下载表数据示例步骤如下。在MaxCompute客户端，执行如下语句创建...
通过整库迁移配置集成任务
自动删除数据源中同名表：选中后会先自动删除数据源中已存在的与整库生成的目标表同名的表，再重新自动创建。重要 如为项目数据源，则会同时删除生产与开发环境中的同名表，请谨慎操作。校验表名：校验目标数据库中是否存在当前的目标表名...
表设计规范
MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。表设计是否合理将影响存储和计算的性能，进而影响到存储和计算的计费。声明 本文中介绍的非功能性规范均为建议性规范，产品功能无限制，仅供参考。表设计主要目标 降低存储...
归档为CSV或ORC格式
归档普通表 冷数据归档执行的是表归档操作，执行冷数据归档操作后的表称为归档表（只读），归档表的引擎为OSS引擎，归档表的数据文件存储在OSS上。执行冷数据归档操作后，原来本地表在PolarStore上占用的空间将被释放。语法 归档为 CSV ...
手把手教您配置通用型NAS容灾
警告-delete 选项代表从容灾文件系统中删除已在业务文件系统中被删除的数据，请谨慎使用，避免将容灾文件系统中的数据意外删除。您也可以为两个文件系统开启回收站功能，当您误删除业务或容灾文件系统中的文件后，可以通过NAS回收站恢复...
上传和共享SSL证书
您可以使用文本编辑工具打开证书链文件，复制其中的内容并粘贴到该文本框，或者单击该文本框下的 上传 并选择存储在本地计算机的证书链文件，将文件内容上传到文本框。国密（SM2）标准 参数 说明 证书标准 此处选择 国密（SM2）标准。该...
基础管理FAQ
本文介绍创建或删除NAS文件系统、添加或删除挂载点等的常见问题。每个账号可以创建多少个文件系统、文件系统有什么限制？每个账号在单个地域内最多支持创建20个通用型NAS文件系统和200个极速型NAS文件系统。单个文件系统容量上限：通用容量...
整库离线同步至OSS
说明 当上一步骤中 写入单个文件 开关为关闭状态时，即单表写入OSS多个文件时，此处的OSS文件名为写入OSS文件的前缀名称，实际写入的文件名会添加随机字符串。功能 描述 文件建立方式 写入OSS时的文件建立方式，支持写入已有文件或自动建立...
快速玩转Tablestore入门与实战
基于Tablestore的一站式物联网存储解决方案-场景篇 基于Tablestore的一站式物联网存储解决方案-表设计篇 基于Tablestore的一站式物联网存储解决方案-数据操作篇 基于Tablestore的一站式物联网存储解决方案-Spark分析 基于Tablestore的一站...
极速型NAS
极速型NAS是基于阿里云最新一代网络架构和全闪存储打造的高性能共享文件存储产品，全托管的云存储服务与阿里云丰富的计算服务完全集成，充分发挥公共云计算生态的能力。具有低时延、高IOPS、大容量等特性，适用于Linux时延敏感型企业应用、...
Presto Server配置和SQL示例
创建映射表 创建映射表用于对应到Tablestore实例中的表，重要 创建映射表时，请注意如下事项：请确保映射表中的字段类型和表格Tablestore数据表中的字段类型相匹配更多信息，请参见 字段类型映射。映射表名称必须与Tablestore中实际的表...
COPY
文件格式 在使用 text 格式时，读取或写入的是一个文本文件，其中每一行就是表中的一行。一行中的列被定界字符分隔。列值本身是由输出函数产生的或者是可被输入函数接受的属于每个属性数据类型的字符串。在为空值的列的位置使用指定的空值...
功能特性
文本色情识别 识别文本中的色情和低俗内容 文本同步检测 文本涉政识别 识别文本内容中的涉政风险，包括人物、事件等-文本暴恐识别 识别文本中的暴恐内容-文本广告识别 识别文本内容中的垃圾广告-文本辱骂识别 识别文本中的辱骂内容-文本...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
mkdir（创建目录）
当您希望按实际业务场景对上传至存储空间（Bucket）下的文件（Object）进行合理归类时，您需要先创建目录，然后将目标文件存放至指定目录。本文介绍如何使用 mkdir 命令创建目录。注意事项 要创建目录，您必须具有 oss:GetObject 和 oss:...
文本内容风控解决方案
OSS路径选择文本分类组件 模型存储路径 参数配置的路径下的 deployment 文件夹中的模型文件夹（其中包含 variables 文件夹、config.json、saved_model.pb、vocab.txt 及 label_mapping.json）。例如，对于下图中的模型目录结构，您需要将...
- 产品推荐
- 这些文档可能帮助您