ModifyProtectionModuleMode
调用ModifyProtectionModuleMode接口修改指定WAF防护功能模块（包括正则防护引擎、大数据深度学习引擎、CC安全防护、数据风控、主动防御等模块）中的防护模式。您可以通过设置 DefenseType参数值指定防护功能模块。具体参数值的含义，请...
DescribeProtectionModuleMode
调用DescribeProtectionModuleMode接口获取指定域名配置中各WAF防护功能模块（包括正则防护引擎、大数据深度学习引擎、CC安全防护、数据风控、主动防御等模块）当前采用的防护模式。您可以通过设置 DefenseType参数值指定防护功能模块。...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
简介
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
什么是人工智能平台PAI
基于开源版本深度优化的深度学习框架TensorFlow、PyTorch、Megatron和DeepSpeed。千亿级特征样本的大规模并行计算框架Parameter Server。Spark、PySpark、MapReduce等业内主流开源框架。PAI提供的服务：可视化建模和分布式训练Designer，...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
基于Delta lake的一站式数据湖构建与分析实战
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
代码模式建模
DataWorks数据建模的设计与实现解耦，在设计过程中，您无需考虑各个大数据引擎的实现方式，建模引擎会根据FML语言定义的Schema去驱动底层各个数据引擎的执行和操作，仅在实际物化（即把设计的逻辑表转换为底层引擎的物理表）阶段，建模引擎...
阶段一：基础防护建设
场景四：开源身份隔离 企业通常会使用DataWorks联合各类大数据引擎（例如，MaxCompute、E-MapReduce）进行数据开发。使用DataWorks及MaxCompute进行数据开发时，在标准模式工作空间下默认支持身份权限隔离。使用DataWorks及E-MapReduce时，...
逆向建模：物理表反向建模
建模流程 逆向建模主要用于将大数据引擎中已经存在的物理表反向建模至DataWorks的维度建模中，其建模流程如下：配置逆向建模策略。建模范围：创建模型前，您需要根据业务需求确定需要将哪些表逆向生成模型。该过程需确定表所在的工作空间、...
功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
东软案例
多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本高等问题，东软急需新型运维大数据存储引擎支撑，来对运维系统存储引擎升级...
TSDB全量迁移至时序引擎
本文介绍时间序列数据库（Time Series Database，简称TSDB）全量迁移至 云原生多模数据库 Lindorm 时序引擎的方法。前提条件 已安装Linux或者macOS操作系统，并且安装以下环境。已安装Java环境，版本为JDK 1.8及以上。已安装Python环境，...
创建集群
Spark：是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark集群...
数据湖元数据管理
横向使用多种大数据计算引擎，例如Databricks 数据洞察、MaxCompute、EMR等，元数据可以集中管理。多个Databricks 数据洞察集群，可以统一管理元数据。创建集群 创建Databricks 数据洞察集群时，如图 元数据选择 为 数据湖元数据 方式，...
如何选择文件引擎规格
Lindorm文件引擎（LindormDFS）是面向海量非结构化数据的分布式文件存储服务，与多模引擎共享存储底座，提供数据库级的安全可靠性。LindormDFS与开源HDFS保持100%通信协议兼容，使用开源客户端可直接访问，无缝接入所有开源大数据生态与云...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
引擎简介
云原生多模数据库 Lindorm 时序引擎是一款 高性能、低成本、稳定可靠 的在线时序数据库引擎服务，提供高效读写、高压缩比存储、时序数据聚合计算、数据库内机器学习等能力。核心能力 高性能：时序引擎支持高写入吞吐，通过自研的时序引擎，...
数据服务入门
说明 DataWorks工作空间将集群或数据库绑定至DataWorks作为DataWorks的引擎后，DataWorks将默认创建该引擎数据源。进入管理中心。在左侧导航栏单击 数据源管理，进入数据源管理页面。创建数据源并测试网络连通性。单击 新增数据源，选择所...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
内核版本
本文为您介绍图数据库GDB不同内核版本的功能差异。Gremlin Gremlin是Apache ...支持被广泛使用的经典统计、机器学习和深度学习算法，适用于数据分析预测场景，可以5分钟快速上手实现游戏付费用户预测、流失预测、银行欺诈用户检测等模型构建。
表引擎
系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务，支持大数据量的快速写入并进行后续的数据处理，通用程度高且功能强大。该系列引擎的共同特点是支持数据副本、分区、数据采样等特性。MergeTree 用于插入极大量的数据...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据库引擎
数据库引擎 数据库引擎分类 文档链接 Atomic Atomic Lazy Lazy Replicated Replicated PostgreSQL PostgreSQL MySQL MySQL SQLite SQLite MaterializedPostgreSQL MaterializedPostgreSQL MaterializedMySQL MaterializedMySQL
设置冷热分离
本文介绍各数据引擎设置冷热分离的方法。引擎类型 设置方法 宽表引擎 按自定义时间列冷热分离 按时间戳冷热分离 时序引擎 冷数据归档 搜索引擎 配置冷存储
冷数据归档
本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变...
- 产品推荐
- 这些文档可能帮助您