什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
迁移数据至阿里云NAS
以ECS为例，您可以用Linux系统挂载NFS文件系统或Windows系统挂载SMB文件系统，然后就像访问本地数据一样访问NAS上的文件数据。具体操作，请参见 Linux系统挂载NFS文件系统 和 Windows系统挂载SMB文件系统。您也可以在云上搭建业务应用，在...
功能特性
DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的...
概述
加密方式灵活，支持加密数据文件中的单个数据列，从而减少了不必要的数据I/O开销。密钥介绍及处理机制 密钥介绍 用户主密钥（MEK）用户主密钥（Master Enryption Key，简称MEK）是一种高级别的加密密钥，用于加密和保护某个系统或某组数据...
数据防泄漏典型案例
处理方法：修改配置文件中的AK后,在AccessKey管理控制台紧急停用AK、SK，终止异常访问。突发测试（某物流公司）问题描述：数据安全中心检测到文件下载量异常。排查结果：员工在进行压力测试，因此产生的事件较多。处理方法：未发现违规。...
使用在线迁移服务迁移数据
关于文件存储NAS之间的数据迁移的具体操作，请参见：准备工作 迁移实施 后续操作 相关问题 如何处理“检查数据地址超时”报错 如何处理“mgw.service.agent.sAddrPrefixInvalid”报错 如何处理迁移后源端和目的端数据量相差较大 如何处理...
使用Robocopy工具迁移数据
常见问题 如何加速迁移数据至NAS SMB协议文件系统 如果您需要加速迁移海量数据（例如，10 T以上的上亿小文件，单个文件100K左右的文件），同时也在往同样的SMB文件系统中写入大量的业务数据。您可通过在windows ECS上安装最新的Python程序...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
BigQuery数据迁移至MaxCompute
任务配置 性能调优 说明 待迁移存储量 和 待迁移文件个数 是您通过Google Cloud控制台获取到的待迁移数据大小和文件个数。创建的迁移任务会自动运行。请您确认 任务状态 为 已完成，表示迁移任务成功结束。在迁移任务的右侧单击 管理，查看...
Amazon Redshift数据迁移至MaxCompute
获取总大小 获取迁移目录的数据大小和文件个数 登录 IAM用户控制台，单击 添加用户。在 添加用户 页面，配置 用户名。在 选择AWS访问类型 区域，选中 编程访问，单击 下一步：权限。在 添加用户 页面，单击 直接附加现有策略。在搜索框中...
Hadoop集群迁移至DataLake集群
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
文件系统存储类型
大数据分析 低频存储可以为基因测序数据、GIS地理信息数据、票据影像数据和音频录音文件数据等海量非结构化的数据提供低成本、大容量的存储空间，同时还可以实时访问数据。备份存储 若您使用通用型NAS作为MySQL、Redis、MongoDB等数据库的...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
Amazon Redshift应用和数据迁移至AnalyticDB ...
您可通过阿里云在线迁移服务或ossimport迁移工具将Amazon Redshift数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版。准备工作 需要迁移的Amazon Redshift实例。用于导出Amazon Redshift数据的Amazon S3服务。已开通阿里云对象存储服务...
基础管理FAQ
如何快速删除文件系统中过大的存储文件数据？无相互包含关系的子目录可以并行删除，您可以同时开启多个终端，进入NAS挂载目录（例如/mnt），然后执行 rm-rf 命令，删除没有相互包含关系的子目录。NAS能否切换VPC？说明 通用型NAS可以添加两...
添加CSV文件
前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过 512KB，暂时不支持上传超出512KB的CSV...
添加CSV文件
前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据源。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过 512KB，暂不...
后续操作
修改每秒迁移文件数上限 数据迁移过程中，您可以根据您的实际情况随时修改每秒迁移文件数上限参数。登录 数据在线迁移控制台。在顶部菜单栏，选择任务所在的地域。在左侧导航栏，选择 在线迁移服务>迁移任务。在迁移任务列表中，单击对应...
RDS SQL Server空间不足问题
以上操作通常可以有效降低数据空间大小，但是如果实例空间仍然有压力，可以执行 DBCC SHRINKFILE 命令收缩数据文件，将数据文件中未分配空间释放给操作系统。以上图为例，一个区（Extent）的大小为64 KB，因此数据文件的总空间大小为104584...
导入
进入导入页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 通用工具，进入导入页面。在该页面，您可新建导入任务，也可对...
下载备份文件
当数据包含了以下类型的字段时，转换任务会失败：GEOMETRY、POINT、LINESTRING、POLYGON、MULTIPOINT、MULTILINESTRING、MULTIPOLYGON、GEOMETRYCOLLECTION 导出的CSV文件中不包含如下系统库：information_schema、mysql、performance_...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
上传数据
上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
上传数据
上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
数据扫描和识别
只有在您的数据库中的数据发生变化时，才会扫描有变化的文件或表。为了减少扫描对您数据库性能的影响，您可以参考以下规则配置全量扫描周期：增大全量扫描的扫描周期，有效减轻 DSC 扫描对数据库性能产生的影响。将扫描时间设置为数据库...
管理数据流动任务
删除（Evict）将释放CPFS上文件的数据，删除后文件在CPFS上只保留元数据，您仍能看到该文件，但文件的数据块已清除，不占用CPFS上的存储空间，访问该文件数据时，再从源端存储（例如OSS）按需加载。说明 删除前，请务必确认对应文件在OSS上...
非结构化分析
向量分析作为 AnalyticDB PostgreSQL版 向量分析的高级特性目前已经服务阿里巴巴内外部多项业务，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑。典型架构 图 1.基于 AnalyticDB PostgreSQL版 实现非结构化数据向量分析...
解决SQL Server实例空间满自动锁的问题
方法二：通过SQL语句查看所有数据库的数据文件（mdf和ndf文件）和日志文件（ldf文件）的大小，详情请参见 RDS for SQL Server如何查看实例、数据库及表占用的空间大小。解决空间满自动锁问题 升级实例的存储空间 升级实例存储空间后即可...
解决SQL Server实例空间满自动锁的问题
方法二：通过SQL语句查看所有数据库的数据文件（mdf和ndf文件）和日志文件（ldf文件）的大小，详情请参见 RDS for SQL Server如何查看实例、数据库及表占用的空间大小。解决空间满自动锁问题 升级实例的存储空间 升级实例存储空间后即可...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute，也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
通用型NAS备份
说明 您可以在 备份任务 页签查看已执行的备份任务状态及备份文件数据量等信息。当备份任务状态较长时间没有更新，请您单击页面右上方 刷新，然后再次查看任务状态。恢复文件 请按如下步骤实现同地域恢复单个NAS文件系统。登录 NAS控制台。...
文件存储CPFS监控概述
通过查看文件存储CPFS文件系统的容量监控和性能信息，您可以了解文件系统的存储容量使用情况和读写吞吐、读写IOPS等情况。通过为文件系统的重要监控指标设置报警规则，您可以及时获知指标异常并快速处理异常。本文介绍文件存储CPFS支持的...
添加静态JSON
本文档介绍在DataV中添加静态JSON文件的方法。前提条件 已准备好待添加的静态JSON文件。操作步骤 登录 DataV控制台。参见 创建可视化应用，创建一个可视化应用项目。单击应用画布中的一个组件，在右侧的配置面板中，单击 数据。在 数据 ...
- 产品推荐
- 这些文档可能帮助您