EMR Workbench

阿里云EMR Workbench是一个综合性的大数据分析和开发环境,作为阿里云E-MapReduce的一部分,它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench,您可以轻松进行数据开发,以及交互式数据分析,并设计复杂的数据处理工作...

互联网、电商行业离线大数据分析

通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品,可以实现互联网、电商网站的离线数据分析,且支持通过DataV大屏展示分析后的业务指标数据。...方案详情 方案的详情请参见 互联网、电商行业离线大数据分析和大屏展示。

常见问题

数据湖后端存储使用OSS,用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图,更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建?在云上有数据分析和机器学习需求,希望构建云上的...

功能发布记录(2024年)

您在数据开发和数据分析中执行SQL语句查询数据时,若该数据被识别为敏感数据,平台将会按照脱敏规则进行遮盖、加密等模式的脱敏展示,加强企业数据安全管控。2024.1.25 所有地域 所有DataWorks用户 数据脱敏能力概述 数据保护伞概述 数据...

基于MaxCompute进行大数据BI分析

方案介绍 基于MaxCompute进行大数据BI分析的流程如下:通过数据集成同步业务数据日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB for MySQL。通过Quick BI可视化建立用户画像。...

通过Quick BI连接StarRocks实例

背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台,无缝对接各类云上数据库和自建数据库,大幅提升数据分析和报表开发效率。您只需在Quick BI中添加StarRocks数据源并成功连接,然后可以在Quick BI上进行数据的分析和展示。...

简介

数据工作站可以结合语言模型给业务开发、数据开发分析数据运营同学赋能,提升数据交付效率数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息,以文档的形式进行交付,并在交付后,希望有可以替您...

风险识别规则响应案例

通常情况下,只有企业数据开发人员和分析人员可以在数据平台上浏览使用数据,而不允许将详细数据下载到本地进行分析。一旦数据导出到本地,就无法对其使用行为进行审计。同时,如果数据被不当使用或者受到别有用心者的攻击,就可能导致...

典型场景

大数据分析平台 对于MaxCompute、HadoopSpark中保存的海量数据,可通过采用数据集成服务(DataX)或通过对象存储服务(OSS),快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版,帮助您实现高性能分析处理在线数据探索。...

概述

EMR数据开发于2022年2月21日停止功能更新,2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能,推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks,详情请参见 EMR数据开发停止更新公告。

相关的云服务

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

查询加速

本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析,云数据库 SelectDB 版 提供了多种分析SQL和优化方案,帮助您提升...当您对于部分场景有更高性能需求时,可参考本章节相关内容,进一步进行数据分析和查询性能优化。

DataWorks数据服务对接DataV最佳实践

DataWorks数据服务提供了快速将数据表生成API的功能,通过可视化的向导模式操作,无需代码便可快速生成API,然后通过DataV调用API并在大屏中展示数据分析结果,高效实现数仓的开发和数据的展示。前提条件 要想实现DataWorks数据服务与DataV...

数据分析整体趋势

Hadoop也在早期的MapReduce接口基础上增加了SQL接口,SQL语法逐渐成为大数据分析系统的标准配置。随着AWS,Azure,Alibaba,Google等云厂商的出现,云原生分布式数据仓库成为目前数据分析技术的主要解决方案,代表性云服务包括Amazon ...

快速体验

DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力,可便捷地连接多种数据源、支持SQL查询,并提供电子表格等多样化的数据分析工具,以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...

创建EMR Hive节点

您可以创建EMR(E-MapReduce)HIVE节点,通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。前提条件 数据开发(DataStudio)中已创建业务流程。数据开发(DataStudio)基于业务...

Spark SQL

无需用户打包jar包或者写python代码,更有利于数据开发人员使用Spark进行数据分析。您需要先登录 DLA控制台,在 Serverless Spark>作业管理 菜单中创建SparkSQL类型的作业。创建SparkSQL类型的作业后,系统默认会使用DLA元数据服务。如果您...

Tair扩展数据结构概览

Cpc 无 TairCpc是基于CPC(Compressed Probability Counting)压缩算法开发的数据结构,支持仅占用很小的内存空间对采样数据进行高性能计算,支持滚动窗口滑动窗口,可以更地支持流式运算,支持大数据分析中常用的聚合算子,如:...

EMR Studio概述

覆盖了大数据处理ETL、交互式数据分析、机器学习实时计算等多种应用场景。EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验,100%兼容开源大数据生态。您无需修改任务代码,即可平滑迁移上云。通过EMR ...

创建OpenGauss数据

数据源配置 基于业务数据源是否区分生产数据和开发数据源:如果业务数据源区分生产数据和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

创建Sap Table数据

说明 通常情况下,生产数据和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 HOST SAP实例所在的服务器的...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

创建DataHub数据

背景信息 DataHub即阿里云流式数据服务DataHub,如果您使用的是阿里云流式数据服务DataHub,在对接Dataphin进行数据开发时,您需要先完成DataHub数据源的创建。更多DataHub信息,请参见 产品概述。权限说明 Dataphin仅支持 超级管理员、...

创建Redis数据

说明 通常情况下,生产数据和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 host Redis的连接地址。若您...

创建API数据

说明 通常情况下,生产数据和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 URL地址 请填写API请求的URL...

创建Salesforce数据

说明 通常情况下,生产数据和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 实例URL 访问Salesforce实例的...

创建GBase 8a数据

数据源配置 基于业务数据源是否区分生产数据和开发数据源:如果业务数据源区分生产数据和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

创建Log Service数据

在引入Log Service的业务数据至Dataphin中进行数据开发的场景中,您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log Service即阿里云日志服务,如果您使用的是阿里云日志服务,在对接Dataphin...

查看报表

等保参考分析报告 根据当前信息安全技术网络安全等级保护评测要求GB/T 28448-2019(简称等级保护2.0),针对等级保护2.0中关注的安全审计中的入侵防范、恶意代码监控、安全审计监控等进行针对性的数据分析和展示。数据安全法报告 从敏感...

创建GoldenDB数据

数据源配置 基于业务数据源是否区分生产数据和开发数据源:如果业务数据源区分生产数据和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

创建RocketMQ数据

背景信息 RocketMQ即阿里云消息队列RocketMQ版,如果您使用的是阿里云消息队列RocketMQ版,在对接Dataphin进行数据开发时,您需要先完成RocketMQ数据源的创建。更多信息,请参见 什么是消息队列RocketMQ版。权限说明 仅支持 超级管理员、...

有数BI

AnalyticDB MySQL版 支持您将 AnalyticDB MySQL版 数据接入网易有数BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接 AnalyticDB MySQL版,并进行可视化数据分析。前提条件 在执行操作前,请确认您已满足...

创建KingbaseES数据

数据源配置 基于业务数据源是否区分生产数据和开发数据源:如果业务数据源区分生产数据和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

创建Vertica数据

如果您使用的是Vertica,在对接Dataphin进行数据开发时,您需要先完成Vertica数据源的创建。更多Vertica信息,请参见 Vertica官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 ...

Yonghong BI连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入Yonghong BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何连接Yonghong BI和MaxCompute项目,并进行可视化数据分析。背景信息 Yonghong Desktop是一款桌面智能数据分析工具,基于...

Serverless Spark概述

DLA Spark基于云原生架构,提供面向数据湖场景的数据分析和计算功能。开通DLA服务后,您只需简单的配置,就可以提交Spark作业,无需关心Spark集群部署。重要 云原生数据湖分析(DLA)产品已退市,云原生数据仓库 AnalyticDB MySQL 版 湖仓...

创建Tablestore数据

如果您使用的是阿里云Tablestore,在对接Dataphin进行数据开发或将Dataphin的数据写入至Tablestore的场景中,您需要先完成Tablestore数据源的创建。更多信息,请参见 什么是表格存储。权限说明 仅支持 超级管理员、数据源管理员、板块架构...

创建TiDB数据

数据源配置 基于业务数据源是否区分生产数据和开发数据源:如果业务数据源区分生产数据和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

创建OceanBase数据

如果您使用的是阿里云数据库OceanBase,在对接Dataphin进行数据开发或将Dataphin数据写入至OceanBase时,您需要先完成OceanBase数据源的创建。更多OceanBase信息,请参见 什么是OceanBase。操作步骤 请参见 数据源管理入口,进入 数据源...

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 Redis 版 云数据库 RDS 云原生大数据计算服务 MaxCompute 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用