基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
数据组织优化
解决方案 Clustering服务主要由MaxCompute内部的Storage Service来负责执行，专门解决小文件合并的问题，但它并不会改变任何数据的历史中间状态，即不会消除任何一条记录数据的中间历史状态。Clustering服务流程 Clustering服务的整体操作...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
高压缩引擎（X-Engine）介绍
大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。数据量太大导致数据备份时间过长甚至备份失败；同时如何存放备份数据也是一个问题。针对如上问题，一种做法是对历史数据做归档，将长期不使用的数据迁移至以文件形式...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
Hive统一元数据
数据共享。使用统一的元数据库，如果您的所有数据都存放在OSS之上，则不需要做任何元数据的迁移和重建，所有集群都是可以直接访问数据，这样每个EMR集群可以做不同的业务，但是可以很方便地实现数据的共享。创建使用统一元数据的集群 支持...
数据服务概述
这就造成在数据应用存在以下问题：数据开发周期长，响应慢：需要按迭代排期实现，数据使用门槛高不能随时使用。烟囱式开发：开发成本高，复用性低，为每个需求提供对应的数据接口。数据安全和查询性能无法保障：在数据接口开发时往往只考虑...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
冷数据归档
随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储成本，提升热数据读取性能，对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中，随着时间的不断推移，数据呈现出很明显的冷温热分层。其相应的概念如下：...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
版本发布记录
无 2021年10月 功能名称 描述 相关文档 Binlog预留功能 MaterializeMySQL引擎支持通过配置参数enable_binlog_reserved开启Binlog预留功能，避免Binlog清理导致的无法正常同步数据的问题，从而提升MaterializeMySQL引擎的稳定性。...
元数据仓库共享模型概述
元仓共享模型数据说明 您可根据当前使用的Dataphin的元仓租户计算引擎类型查看对应的共享模型数据：元数据仓库共享模型（MaxCompute）、元数据仓库共享模型（Hadoop）。访问元仓共享模型 若您需要访问元仓共享模型，可以通过集成任务将元仓...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
元数据仓库共享模型标准访问方式
若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。本文将指导您如何进行配置。操作步骤 创建元仓项目数据源。在业务租户中，将元仓项目的计算源创建为...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
什么是备份数据量
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
网络连通解决方案
第三方云自建数据源 网络连通的常见问题 数据源网络连接测试不通时，建议您从以下几个方面排查：数据源是否已正常启动。以MySQL数据源为例，您可以在本地PC上 telnet 127.0.0.1 3306，查看数据库端口是否已开启。Dataphin无法访问数据源...
点热力层（v3.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
区域热力层
图表样式 区域热力层是3D地球的子组件，支持独立的样式和数据配置，能够使用GeoJson数据展示区域边界信息并渲染区域样式，适用于在3D地球上展示某个区域的数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
如何处理Tair集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理大Key和热Key。避免使用大Key。对大Key进行拆分，...
如何处理Redis集群数据倾斜
常见于在KKV（Key-key-value）类型的数据结构中，例如Hash、List、Set、Zset等，存放过多或过大的field，从而导致单个Key过大，产生实例数据倾斜。更多关于大Key的信息，请参见 发现并处理Redis的大Key和热Key。避免使用大Key。对大Key进行...
处理治理项问题
查看当前登录账号或指定工作空间的可优化项的数量、类别，以及存在该类问题的任务或表详情等信息，针对不同问题DataWorks的数据治理中心为您提供了相应的解决方案，您可以基于该方案，快速处理当前存在的问题，以提升数据质量，尽快达成...
MongoDB 4.0
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 升级数据库大版本：升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
Napatech案例
增加过多的节点会带来极大的成本开销及管理复杂问题。流量数据包元数据的存储和索引技术的性能提升需求越来越迫切。解决方案 阿里 云原生多模数据库 Lindorm 是一款适用于任何规模、多种模型的云原生数据库服务，其基于存储计算分离、多模...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
Serverless模式
目前数据共享处于测试阶段，使用时存在以下约束：数据共享仅支持普通表，不支持分区表、外表、View、Schema和函数的数据共享。数据共享仅支持Hash分布表，不支持复制表和随机表。数据共享不支持子事务。当源实例中有多个共享时，目标库只能...
数据分析整体趋势
通过存储计算分离，做到两者解耦，资源池化，独立扩展，满足业务上资源隔离，数据共享的需求，是当下的架构趋势。计算分析一体化：传统数据分析方案是定期从OLTP系统抽取数据同步到OLAP系统，有些可以做到准实时同步。该方案带来的问题是...
什么是数据库自治服务DAS
缺少数据支撑，问题排查靠猜 数据库的问题排查和性能优化一直都是数据库领域的专业问题，但是即使最专业的DBA在面对一些问题的时候，也往往耗费了很长时间，但是仍然无法定位到根因，主要的难点有三个：获取信息难，问题诊断和性能优化都...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
区域下钻热力层（v1.x版本）
重要 如果预览时无法显示自定义的下钻区域，可能是所配置的URL存在跨域问题，可在OSS中进行跨域配置，详情请参见 设置跨域资源共享。预览成功后，可单击 发布，发布大屏。使用同样的方式可配置其他省市级的下钻区域数据，数据的规律为 国家...
敏感数据保护概览
数据自动化扫描。自定义数据扫描触发周期。自动识别企业敏感数据和对敏感数据进行分类分级，解决企业资产中的敏感数据及时发现、有效管理的问题。内置和自定义分类分级模板，完善业务精细化分类管理模型，可以使用最小授权原则管理敏感数据...
管理敏感数据
数据自动化扫描。自定义数据扫描触发周期。自动识别企业敏感数据和对敏感数据进行分类分级，及时发现、有效管理企业资产中的敏感数据。敏感数据脱敏管理。提供灵活的脱敏算法管理，实现不同场景、不同字段的差异化脱敏，解决最细粒度授权、...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
如何基于LSM-tree架构实现一写多读
为了实现弹性、动态升降配和增删只读节点的能力，需要只读节点具备一致性读的能力，另外RW节点和RO节点共享一份数据，历史版本回收也是必需要考虑的问题。一致性读 X-Engine提供快照读的能力，通过多版本机制来实现读写不互斥效果。从上述...
算子级别诊断结果
对于合理Join条件，一般Join的输出行数会小于输入行数，如果Join的输出行数大于输入行数，那么会存在Join数据膨胀的问题，Join数据膨胀会导致较多的计算资源和内存资源被占用，导致查询较慢。建议 如果是数据本身特征导致的Join数据膨胀，...
数据源管理常见问题
本文介绍在DataV中连接数据源时，经常遇到的问题及相应的解决方法。DataV小课堂直播视频：数据源管理-常见问题。CSV数据源类问题 如何为组件配置CSV数据源？您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 ...
- 产品推荐
- 这些文档可能帮助您