Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
Hue连接开启LDAP认证的引擎
Hue作为一个数据开发平台，支持连接各种执行引擎，例如Hive、Spark、Impala和Presto。当这些执行引擎开启LDAP认证后，Hue需要进行相应的配置后才能成功连接。本文介绍如何配置Hue连接开启LDAP认证的执行引擎。前提条件 已创建E-MapReduce的...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
使用ClickHouse-Local迁移上云
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
什么是云原生多模数据库Lindorm
多模型的核心能力主要由以下几大数据引擎提供，包括：数据引擎 核心能力 宽表引擎 负责 宽表与对象数据 的管理和服务，具备全局二级索引、多维检索、动态列、TTL等能力，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容...
Sensors Data（神策）数据源
DataWorks数据集成支持使用Sensors Data Writer将数据写至Sensors Data，本文为您介绍DataWorks的Sensors Data数据同步的能力支持情况。使用限制 目前仅华南1（深圳）地域支持绑定Sensors Data数据源，其他地域会陆续支持，敬请期待！不...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
请求分析
在 慢日志 详情页，选择目标引擎，查看该数据库引擎的全局慢日志信息。选择需要查看的时间段，查看该时间段内 全局慢日志趋势 和 TOP实例统计，您可以通过以下两种方式选择查询时间：单击 近1天、近3天 或 近1周，查看最近1天、最近3天或...
接入数据库实例
功能限制 支持接入的数据库实例为：数据库 支持的数据库引擎 阿里云数据库 RDS MySQL、PolarDB MySQL版、MyBase MySQL RDS PostgreSQL、PolarDB PostgreSQL版 RDS SQL Server、MyBase SQL Server Redis、MyBase Redis PolarDB PostgreSQL版...
RDS MySQL空间不足问题
大字段导致空间不足 现象 如果表结构定义中有blob、text等大字段或很长的varchar字段，也会占用更大的表空间。解决方案 将数据压缩以后再插入。空闲表空间太多导致空间不足 现象 空闲表空间太多是指InnoDB表的碎片率高。InnoDB是按页（Page...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
功能特性
按备份集恢复RDS数据 按备份集恢复PolarDB数据 按备份集恢复MongoDB数据 按备份集恢复Redis数据 按备份集恢复Tair数据 恢复任意时间点数据 通过全量备份集和日志备份集实现任意时间点数据的恢复。按时间点恢复RDS数据 按时间点恢复PolarDB...
技术架构选型
MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心、监控报警、数据资产等在内的一系列功能。icmsDocProps={'productMethod':'created','...
增量导入
本章节介绍搜索引擎如何进行增量导入。请参见 RDS增量导入，将增量数据导入到宽表引擎中。导入宽表引擎后，后台会通过BDS服务自动将宽表引擎的增量数据同步到搜索引擎中。注意 同步到搜索引擎的数据仅限于已经配置好的schema映射。
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
增量导入
本章节介绍搜索引擎如何进行增量导入。请参见 RDS增量导入，将增量数据导入到宽表引擎中。导入宽表引擎后，后台会通过BDS服务自动将宽表引擎的增量数据同步到搜索引擎中。重要 同步到搜索引擎的数据仅限于已经配置好的schema映射。
MongoDB实例内存使用率高问题
常见原因 引擎内存 云数据库 MongoDB 版 的大部分内存都会用于存储引擎缓存。考虑到兼容性和安全性，云数据库 MongoDB 版 将存储引擎WiredTiger的cachesize设置为实际申请的实例内存规格大小的60%左右。具体规格，请参见 产品规格。如果...
发布模型至引擎
引擎类型 选择数据存储的引擎，目前可选如下几类。MaxCompute、EMR Hive、Hologres、CDH、MySQL。说明 当选择发布模型为 视图 时，则仅支持物化至 MaxCompute 引擎。物化视图（Materialized View）本质是一种预计算，即把某些耗时的操作...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
概述
AnalyticDB MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品，它可以加密敏感数据，避免数据泄露。您可以通过本文，了解Spark全密态计算引擎在安全合规等领域的应用场景、功能...
PostgreSQL逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
使用须知
了解Lindorm计算引擎SQL 根据您已开通的引擎类型（即宽表引擎、时序引擎、搜索引擎或者文件引擎等），Lindorm计算引擎为您新增对应的数据源（Catalog）。您可以使用 SHOW CATALOGS 语句来查看当前可以使用的数据源，数据源名称和说明如下：...
备份数据
操作步骤 不同的引擎备份数据的配置存在差异，您可以参考引擎选择：备份MyBase MySQL数据请参见 自动备份 或 手动备份。备份MyBase SQL Server数据请参见 备份MyBase SQL Server数据。备份MyBase PostgreSQL数据请参见 备份MyBase ...
USE
如果您当前使用的数据库并非目标数据库，可以通过USE语句切换数据库对象。切换后所有的SQL操作都将在目标数据库中执行。引擎与版本 USE语法适用于宽表引擎和时序引擎。无版本限制。语法 use_statement:=USE { database_identifier|DEFAULT ...
查看我的订阅
在 我的订阅 页面左上角的 引擎/数据源 列表中，选择 引擎/数据源，并选择相应的 引擎/数据库实例，为您显示已订阅的数据表。单击相应表名后的 分区表达式，跳转至 规则配置 页面，详情请参见 配置监控规则。单击相应表名后的 上次结果，...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
快速使用专属集群MyBase
重要 选择对应的引擎创建集群，才能在添加主机时选择对应的系统镜像，以及创建实例时选择对应的数据库类型。引擎设置后无法修改，请确保引擎选择正确。架构系列 仅引擎选择 MySQL 时出现此参数，默认为 高可用。专属集群名称 专属集群的...
敏感数据访问及导出情况
该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 阿里云主账号已授权开通数据保护伞，详情请参见 数据保护伞概述。背景信息 您可以在完成敏感数据规则配置的第二天，查看数据的访问和导出情况。说明 安全管理员可以...
总体流程
本篇文档主要描述使用数字园区引擎的主要...下发算法到物业管理一体机进行边缘计算，实现对园区智能化事件的采集 获取数字园区引擎中的数据，以及调用园区引擎的服务 管理园区空间，与园区设备绑定，实现园区资产空间可视化 具体流程图如下：
数据湖元数据管理
横向使用多种大数据计算引擎，例如Databricks 数据洞察、MaxCompute、EMR等，元数据可以集中管理。多个Databricks 数据洞察集群，可以统一管理元数据。创建集群 创建Databricks 数据洞察集群时，如图 元数据选择 为 数据湖元数据 方式，...
访问CDC数据
云原生多模数据库 Lindorm 计算引擎提供Lindorm CDC（Change Data Capture）数据源，您可以通过该数据源使用Spark SQL查询Lindorm实例其他引擎变更的数据。前提条件 Lindorm实例已开通LTS（Lindorm Tunnel Service）服务，具体请参见 购买...
ALTER SYSTEM
宽表引擎数据文件的默认版本是2。说明 如果您在使用过程中遇到报错 Cell Tag is not supported since ldFileVersion is too small=2，可以将文件版本号修改为5来解决该问题。SLOW_QUERY_RECORD_ENABLE Boolean 宽表引擎 设置是否启用宽表...
查看数据风险（旧版）
该页面E-MapReduce计算引擎的操作数据展示暂只支持上海region。前提条件 租户管理员已授权开通数据保护伞，详情请参见 数据保护伞概述。操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作...
引擎简介
Lindorm AI引擎提供了一站式集成AI推理能力，支持通过Lindorm SQL灵活导入并部署预训练模型，对海量多模数据进行智能分析和处理。核心能力 数据不出库，一站式AI分析与处理 Lindorm AI引擎支持对存储于宽表引擎中的文本、图像和音视频等非...
通过流引擎实现交易数据实时统计
云原生多模数据库 Lindorm 流引擎是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能。本文介绍使用Lindorm流引擎对交易数据进行实时统计，并将统计结果（即每小时的订单数量和交易金额）存储至Lindorm宽表中。前提条件 已安装...
通过流引擎实现地理围栏监控
写入数据，使用Kafka客户端写入数据到数据流表 input_stream，具体操作请参见 通过开源Kafka客户端写入Lindorm流引擎数据。完整的代码示例如下：import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients....
引擎运维
通过E-MapReduce的 作业ID 或DataWorks的 实例ID 搜索时，仅支持展示最近30天的引擎实例数据。状态 NEW：表示E-MapReduce作业刚创建。NEW_SAVING：表示正在保存E-MapReduce作业。SUBMITTED：表示E-MapReduce作业已提交执行申请。ACCEPTED：...
- 产品推荐
- 这些文档可能帮助您