配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
文本文件
读取纯文本文件，文件中的每一行将被解析为DataFrame中的一条记录，然后根据要求进行转换，由于文本文件能够充分利用原生类型（native type）的灵活性，因此很适合作为DataSetAPI的输入。前提条件 通过主账号登录 阿里云 Databricks控制台...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
访问OSS数据源
本文示例的Python程序名为 example.py，用于读取文本文件readme.txt的第一行内容。import sys from pyspark.sql import SparkSession#初始Spark spark=SparkSession.builder.appName('OSS Example').getOrCreate()#读取指定的文件，文件...
创建和管理自定义存储表
物联网平台数据服务提供离线数据存储功能，支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
一键上传本地文件
导入本地文件前，您需要在目标数据库中创建一张用于存储本地文件的表。配置 选择数据源表 页面的各项参数，单击 下一步。参数 描述 选择文件 需要上传的本地文件。仅支持上传TXT、CSV和LOG类型的文件。选择分隔符 逗号 Tab 分号 空格|#您也...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
高级管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
配置目标节点
如果已选择自定义存储表已包含字段，输出字段必须是目标自定义存储表中存在的字段（字段定义一致），且包含目标自定义存储表中的主键。如果不满足以上要求，需返回目标节点之前的处理节点，修改输出字段符合目标自定义存储表中字段要求。...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
管理人群
文件格式 配置说明 输入手机号文本 当选择该文件格式时，您需要在 输入手机号文本 文本框中，输入已准备好的手机号。单列CSV文件（手机号）当选择该文件格式时，您可以使用以下两种方式上传已准备好的文件。选定OSS文件：选择文件所在的...
管理平台系统表和时序/快照表
您可以通过数据服务的离线数据存储功能，查看平台系统表、时序表和快照表。本文介绍查看平台系统表、时序表和快照表的操作步骤，及各存储表的数据内容。查看存储表 登录 物联网平台控制台。在 实例概览 页面，找到对应的企业版实例，单击...
建表并上传数据
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
快速入门
计费存储量=MAX[核算存储量,实际存储量]实际存储量是指文件系统中所有文件大小的总和（不含目录），包括文件空洞。核算存储量是指5 MiB×Inode（包括文件和目录）数量获得的存储量。Inode数量可以通过控制台和容量监控获得。
自动化测试
trans目录中可以包含多个TXT文件，每个TXT文件中指定多个WAV文件对应的标注文本。标注文件第一列音频文件名需要和wav目录的音频文件名对应（注意文件名带.wav后缀）。标注文本应该是归一化后的（按照实际读音转写成汉字，“5256”对应”五...
资源包抵扣规则
本文介绍文件存储NAS资源包的抵扣规则和抵扣顺序。生效和抵扣时间 资源包购买后立即生效，将在购买时间段的按量付费账单中体现抵扣效果。假如您在2021年08月12日10:30:30购买了有效期为1个月的1 TiB极速型NAS资源包，则实际抵扣时间需要...
通过元数据发现导入至湖仓版
已上传文件到OSS的Bucket中，且OSS路径格式满足如下条件：OSS路径需为<BucketName>/目录/./目录/表/文件 或者<BucketName>/目录/./目录/表/分区/./分区/文件 的格式。Bucket层级下至少有一层目录。OSS路径的同一表或分区中的文件类型必须...
使用DataWorks（离线与实时）
场景2：导入本地文件至MaxCompute 同步能力说明 当前支持将 CSV 和 自定义文本文件 两种格式文件数据导入MaxCompute，其中 自定义文本文件 支持.txt、.csv 和.log 类型的文件。操作入口与通用操作指导 登录 DataWorks控制台，单击左侧导航...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
概述
假设将1.2GB的数据以CSV、TSV或者LOG等格式存储在OSS中，通过DLA将CSV、TSV或者LOG格式转换为其他格式后，数据在OSS中所占用的存储空间如下表所示。存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据...
iOS 符号表管理
移动分析支持通过符号表对 iOS App 的闪退日志进行反向解析，以便定位 App 中的问题代码，帮助提高排查、解决线上异常问题的效率，同时提供 iOS 符号表管理功能以便导入、查询符号表并进行符号表反解测试。什么是符号表 符号表是内存地址与...
Kafka数据接入
如果 自动创建目标表 选择 否，表名称需与 表格存储 实例中已有表名称相同。kafka_table 表格存储 存储同步数据的表类型。推荐使用时序模型，作为物联网场景中的标准数据。取值范围如下：宽表模型 时序模型 时序模型 消息 Key 格式 消息Key...
通用型NAS计费
存储容量波动型（例如，有一小时的最大存储容量为100 GiB，其余每小时的最大存储容量均为90 GiB）王先生在华东1（杭州）创建了一个容量型的文件系统，假设在2021年6月份期间每小时的最大存储容量均为90 GiB，但其中有一小时的最大存储容量...
快速入门（FC）
NAS与函数计算无缝集成，您可以在函数计算的服务、应用上配置NAS，实时存储训练中的数据，也可以通过函数计算中的应用部署NAS浏览器，实现可视化管理NAS文件系统上的文件，包括上传文件/文件夹、下载文件/文件夹、增删改查等。本文介绍如何...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
创建逻辑模型：明细表
明细表用于存储大量能够体现业务活动状况的实际数据或详细数值，是数据聚合后依据某个维度生成的结果表。例如，分析产品销售情况，您可以创建销售明细表，用来存储产品维度（作为外键）、时间维度（作为外键）以及销售总量。本文为您介绍...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
设置生命周期策略
您可以基于最后一次访问时间的规则创建生命周期策略，定期将通用型NAS文件系统内的多个文件或目录转储为指定的存储类型，从而节省存储费用。费用说明 低频存储类型费用说明 低频存储容量费用：根据您转储至低频存储中的文件大小、时长收取...
文件存储 HDFS 版和数据库MySQL双向数据迁移
此处以迁移文件存储HDFS版/sqoop2mysql/table/mysqltest.txt中的数据为例，mysqltest.txt中已写入如下数据。6,测试用户6,2019-08-10,男 7,测试用户7,2019-08-11,男 8,测试用户8,2019-08-12,男 9,测试用户9,2019-08-13,女 10,测试用户10,...
自定义文本库
通过定义自己业务的相似文本库黑名单、白名单、疑似名单（疑似名单是指业务上需要识别出来，且需要人工审核），并在相似文本库里面维护与您业务相关的文本样本，从而指导文本反垃圾识别去过滤命中相似文本样本的内容。使用限制 类型 项目 ...
文件存储 HDFS 版和对象存储OSS双向数据迁移
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
CreateOfficeConversionTask-创建文档转换任务
支持文档格式转换，将存储在对象存储中的文档（Word、PPT、Excel、PDF）转成图片，文本，或者PDF。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格 支持的输入文件格式：文字文档（Word）：doc、docx、wps、...
迁移指南
对于分区中有许多文件的大型表，这可能比从Parquet表加载单个分区（使用直接分区路径或WHERE）要快得多，因为在目录中列出文件通常比从事务日志中读取文件列表慢。将现有应用程序移植到Delta Lake时，应避免执行以下操作，这些操作会绕过...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
数据备份概述
为了防止由于误删、恶意篡改等导致重要数据不可用，您可以使用 表格存储 数据备份功能备份实例中宽表数据，并在数据丢失或受损时及时恢复。背景信息 云备份（Cloud Backup）作为阿里云统一灾备平台，是一种简单易用、敏捷高效、安全可靠的...
回收站
例如同一目录存在文件 test_a.txt 和文件 test_b.txt，执行 mv test_a.txt test_b.txt，文件 test_b.txt 将进入回收站。应用程序使用NAS文件产生的临时文件。例如执行 vim 命令编辑文件时，产生的.swp 和.swpx 格式的文件将进入回收站。...
资源包概述
资源包是针对按量付费中的文件系统存储用量推出的预付费套餐包。相对于按量付费，资源包提供了更高的折扣优惠。相对于存储包，资源包无需绑定文件系统即可直接使用，同时可以抵扣多个文件系统的存储费用。NAS资源包支持叠加购买，叠加购买...
- 产品推荐
- 这些文档可能帮助您