数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

查询机制

INSERT 当您使用INSERT插入一条数据时,具体过程如下:从数据文件中读取一个数据块到内存中,并将这行数据写入这个数据块,系统生成一条INSERT的WAL日志。当执行COMMIT命令后,系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...

导入数据

本文为您介绍如何通过MaxCompute客户端,使用Tunnel Upload将本地数据文件中数据导入创建好的表中。前提条件 请确认您已满足如下条件:已创建表。更多创建表操作,请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...

什么是DataWorks

DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始,DataWorks与阿里巴巴业务共同发展,结合MaxCompute、Hologres等大数据计算引擎的能力,跨越多个技术阶段,支撑阿里巴巴数据中台数据治理建设。目前阿里巴巴集团内...

敏感数据溯源

DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务,并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则,详情请参见 通过...

客户案例

基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率,构建大润发的数据中台体系。新金融行业:某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的,同时引入的数据中台...

后续操作

修改每秒迁移文件数上限 数据迁移过程,您可以根据您的实际情况随时修改每秒迁移文件数上限参数。登录 数据在线迁移控制。在顶部菜单栏,选择任务所在的地域。在左侧导航栏,选择 在线迁移服务>迁移任务。在迁移任务列表,单击对应...

IoT数据自动化同步至云端解决方案

登录 DataWorks控制,单击左侧导航栏的 数据集成,在下拉框选择对应工作空间后单击 进入数据集成。新增OSS数据源和MaxCompute数据源,详情请参见 配置OSS数据源 和 配置MaxCompute数据源。单击当前页面左上角的 图标,选择 全部产品>...

RDS MySQL物理备份文件恢复到自建数据库

本方案用于恢复备份文件中的全部数据。如仅需恢复部分库表,请参见 RDS MySQL逻辑备份文件恢复到自建数据库。目前 仅支持 将RDS MySQL的物理备份文件恢复到安装在 Linux系统 中的自建MySQL数据库中。本方案暂不支持MGR(MySQL Group ...

新功能发布记录

水印嵌入是指将标识信息嵌入到数据文件中,使其具备一定的标识度。对于不易察觉的水印,可以通过DMS的水印提取功能检测文件是否嵌入水印信息。数据水印 权限模板 新增 权限模板支持对具有相同业务属性的实例、库、表等进行统一管理,然后...

重要组件

此外,PolarStore使用了类似Copy On Write技术,支持秒级快照,即对数据库来说,不管底层数据有多,都能快速完成全量数据备份,因此PolarDB支持高达100T的磁盘规格。计算节点和存储节点之间通过25G RDMA网络连接,保证数据传输不会出现...

E-MapReduce数据迁移

提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。前提条件 已开通并创建E-MapRedece集群。具体操作,请参见 创建集群。说明 当使用阿里云 文件存储 HDFS 版 替换E-...

EMR旧版数据开发迁移公告

迁移流程 通过使用EMR Workflow,您可以轻松将在EMR旧版数据开发的工作流和任务导出为兼容Apache Dolphinscheduler的工作流描述JSON文件,通过EMR Workflow的导入功能,您可以快速导入工作流和任务,实现快速的迁移,从而节省大量的迁移...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据源包括数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin连接某数据源,则需要先在数据源管理创建该数据源。...

数据防泄漏典型案例

处理方法:修改配置文件中的AK后,在AccessKey管理控制紧急停用AK、SK,终止异常访问。突发测试(某物流公司)问题描述:数据安全中心检测到文件下载量异常。排查结果:员工在进行压力测试,因此产生的事件较多。处理方法:未发现违规。...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...

计费常见问题

当您使用安全服务(例如云安全中心的防勒索服务)扫描通用型NAS低频介质中的文件时,安全服务会读取目标文件中数据,文件存储NAS将收取低频介质访问流量费用。更多信息,请参见 通用型NAS计费。执行数据取回任务收费吗?收费。执行数据...

什么是文件存储NAS

数据加密 服务端加密:NAS会对存储在文件系统数据进行加密,访问数据时,NAS自动将加密数据解密后返回给用户。更多信息,请参见 服务器端加密。NFS文件系统传输加密:通过TLS协议保护ECS实例与NAS服务之间网络传输链路上的数据安全,...

概述

优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用,包括阿里巴巴数据中台,阿里巴巴电商新零售业务,阿里云城市大脑,通义千问模型搭建的问答服务等...

基于OSS外表的单表多文件查询

如果您需要上传新的数据文件,并在 t1 表中读取该文件中数据,您可以执行 步骤1 上传目标文件,上传完成后,对 t1 表执行以下操作,即可使用查询命令查询新上传文件中数据。FLUSH TABLE t1;查询优化 说明 查询优化功能支持的集群版本...

产品架构

业务背景 伴随着信息技术的飞速发展,各行各业在业务生产产生的数据种类越来越多,有结构化的业务元数据、业务运行数据、设备或者系统的量测数据,也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案,为了满足多种类型...

数据建模:智能数据建模

智能数据建模是阿里云DataWorks自主研发的智能数据建模产品,沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践,包含数仓规划、数据标准、维度建模及数据指标四大模块,帮助企业在搭建数据中台数据集市建设过程中提升建模及逆向建模的...

T+1多库合并建仓

为保证业务可以继续使用RDS数据库,业务端通常会采用分库分表技术,将一个RDS数据的单张表数据拆分到多个数据库的多张表。上述方案可解决因数据而导致的用户体验问题,但在对分库分表数据进行大数据分析时,逻辑上的一个表被拆成...

C100售后支持相关问题

说明 如果服务器与数据库审计系统之间的网络无法连通,则一个数据库审计实例只能对一服务器数据库进行审计。示例三,您在阿里云账号A下有5服务器,阿里云账号B下也有5服务器。您只需连通每服务器与数据库审计系统之间的网络,...

2021年

OSS分区表下推,如果遇到分区字段出现在parquet数据文件中,可能导致数据查询异常。访问OSS偶发报错 Premature end of Content-Length。执行ADD KEY 报错 ...

下载备份文件

数据包含了以下类型的字段时,转换任务会失败:GEOMETRY、POINT、LINESTRING、POLYGON、MULTIPOINT、MULTILINESTRING、MULTIPOLYGON、GEOMETRYCOLLECTION 导出的CSV文件中不包含如下系统库:information_schema、mysql、performance_...

功能特性

索引加速 文件分析 云数据库 SelectDB 版支持表函数功能(Table-Value-Function或TVF),可以将S3、HDFS等常见远端存储文件数据,映射成云数据库 SelectDB 版的表,从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...

冷热分层

基于Tablestore的通道服务,原始数据可以利用变更数据捕获CDC(Change Data Capture)技术写入多种存储组件。示例 本示例结合Tablestore和Delta Lake,进行数据的冷热分层。实时流式投递。创建数据源表。数据源表是原始订单表OrderSource...

常见问题

A:包含数据库表文件、索引文件、undo日志文件、Redo日志文件、binlog文件、slowlog文件及少量的系统文件,详情请参见 概览。Q:PolarDB 的存储包怎么用?A:购买的包年包月或按量付费的集群,均可使用存储包抵扣存储费用。例如您有3个存储...

性能说明FAQ

NAS为了保证数据的可见性,会在关闭文件时将数据写回服务端,性能消耗较。解决方案:方案一:删除 access_log 指令的变量,使用固定路径存储日志文件。方案二:使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存,提高...

迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...

背景信息 在数据传输控制创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目,您可以通过结构迁移、全量迁移和增量同步,无缝迁移源端数据的存量业务数据和增量数据至 Oracle 数据库。同时,数据传输支持将...

什么是数据库备份DBS

DBS支持备份恢复MySQL、SQL Server、PostgreSQL、Oracle等近10种数据源,同时支持阿里云云数据库、阿里云ECS数据库、本地数据中心、其他云厂商等环境,允许通过数据库网关DG私网、专线、VPN网关等网络进行接入,帮助您有效解决备份耗时耗...

计费概述

公网带宽费用 当您将非阿里云数据迁移至NAS或者将NAS数据下载至本地时,需要通过任何一连接公网的PC上(Windows或Linux系统)挂载NAS,实现文件的上传和下载,占用ECS公网带宽,您需要支付ECS公网带宽费用。更多信息,请参见 公网...

创建集群

通过阿里云E-MapReduce(简称EMR),您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架,以进行规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置,帮助您快速搭建和管理大数据集群。...

数据备份

数据库 OceanBase 控制提供高可用、高性能的备份功能,支持针对 OceanBase 集群实例的数据备份。备份策略 OceanBase 支持以下两种备份方式:备份调度策略:通过预设的备份调度策略,定期自动备份。可设置每周固定时间启动一次全量备份...

Check节点

登录 DataWorks控制,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框选择对应工作空间后单击 进入数据开发。单击 图标,选择 新建节点>通用>Check节点。根据界面指引,输入节点的路径、名称等信息。步骤二:...

下载备份

当实例包含了以下类型的字段时,转换任务会失败:GEOMETRY、POINT、LINESTRING、POLYGON、MULTIPOINT、MULTILINESTRING、MULTIPOLYGON、GEOMETRYCOLLECTION 导出的CSV文件中不包含如下系统库:information_schema、mysql、performance_...

读写访问文件类问题

解决方案(推荐)不同进程或不同客户端写入同一文件系统的不同文件中,后续分析处理时再进行归并,这个方案能够很好地解决并发写入导致的问题,同时无需使用文件锁,不会对性能造成影响。对于并发追加写同一个文件(如日志)的场景,可以...

创建文件系统

当您想实现文件系统的共享访问时,您可以创建通用型NAS或极速型NAS文件系统,然后在多个计算节点挂载使用。NAS文件系统支持在云上ECS、容器、FC、PAI等计算节点挂载使用。同时,也支持本地数据中心挂载访问NAS。背景信息 通用型NAS文件...

基本概念

W 文件引擎 负责目录文件数据的管理和服务,并提供宽表、时序、搜索引擎底层共享存储的服务化访问能力,从而加速多模引擎底层数据文件的导入导出及计算分析效率,兼容开源HDFS标准接口。更多信息,请参见 文件引擎介绍。物理I/O 由文件系统...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云数据库 Redis 版 云服务器 ECS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用