什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
产品概述
当ACK集群准备就绪后，EMR将基于ACK的资源安装部署大数据服务组件，并在容器内运行。关于EMR on ACK的更多介绍，请参见 什么是EMR on ACK。EMR Serverless StarRocks EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您...
产品简介
当ACK集群准备就绪后，EMR将基于ACK的资源安装部署大数据服务组件，并在容器内运行。关于EMR on ACK的更多介绍，请参见 什么是EMR on ACK。EMR Serverless StarRocks EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您...
功能特性
使用EMR-CLI自定义部署Gateway环境 使用EMR-CLI自定义部署Gateway环境 Use EMR-CLI to deploy a gateway EMR on ACK 功能集 功能 功能描述 参考文档 集群管理 创建集群 可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，...
什么是EMR on ACK
当ACK集群准备就绪后，EMR将基于ACK的资源安装部署大数据服务组件，并在容器内运行。EMR on ACK优势 优势 描述 节省成本 您无需为大数据服务单独购买ACK集群，通过简单的配置即可在已有的ACK集群上执行大数据作业，成本低廉。复用现有ACK...
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
云速搭部署VMware服务
灾备场景：客户应用部署到本地数据中心VMware虚拟化上，灾备中心使用阿里云上VMware 服务。数据中心扩容：业务扩容遇到机器过保、机房空间限制等情况，不希望一次性高昂的基础资源投入。上云迁移场景：客户不想继续维护本地VMware 数据中心...
金融云产品列表
云安全中心 部署 部署 部署 部署 Web应用防火墙 WAF 部署 部署 部署 部署 云原生大数据计算服务MaxCompute 无 部署 部署 无 大数据开发治理平台 DataWorks 无 部署 部署 无 DataV数据可视化 无 无 部署 无 机器学习PAI 无 无 部署 无 视频...
Serverless Spark概述
传统Spark集群版的方案架构图如下所示：但是对于传统Spark集群版，用户首先需要部署一套开源大数据基础组件：Yarn、HDFS、Zookeeper等，可能会存在以下问题：使用门槛高：开发者需要同时熟悉多种大数据组件，才能完成开发与运维相关工作，...
重新部署本地盘实例
本文介绍了如何通过ECS管理控制台重新部署一台大数据型或本地SSD型ECS实例（不包含i4p、d3c），通过重新部署，ECS实例会迁移到其他宿主机。前提条件 本文步骤仅适用于收到了本地盘实例系统事件的ECS实例。在重新部署本地盘实例前，请提前...
产品更新动态
2023年9月 发布时间：2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块，用户可以在数据中心连接和管理数据库，并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
快速开始
直接调用大模型 涉及功能：模型体验中心、模型广场、Prompt工程 基于企业文档的大模型问答 涉及功能：应用中心-应用广场RAG应用、企业知识库 基于训练数据的专属大模型 涉及功能：模型工具-模型调优、训练数据、模型评测、模型部署 直接...
应用场景
云数据库Cassandra可以很容易添加新的数据中心，不同的数据中心可以设定不同的副本数，既可以作为跨数据中心多活高可用，也可以作备份容灾或离线分析使用。业务灵活多变 云数据库Cassandra的数据模型灵活，对表结构的变更是一个非常轻量级...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
RAM用户使用DSC授权
RAM用户访问或管理数据安全中心控制台前，需要完成授权操作。本文介绍如何授予RAM用户管理或访问数据安全中心控制台的权限。前提条件 已创建RAM用户。具体操作，请参见 创建RAM用户。为RAM用户授权 使用阿里云账号（主账号）或具有管理权限...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
快速体验
数据开发与调度：大数据开发治理平台 DataWorks数据开发（必选）、DataWorks运维中心（必选），基础版DataWorks已包含数据开发和运维中心功能。数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
流程简介
数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...
蜂窝热力层
数据源 单击 配置数据源，可在 设置数据源 页面中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。详情请参见 配置组件数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
客户案例
基于金融云计算平台以及 OceanBase 的海量存储，网商银行拥有处理高并发金融交易、海量大数据和弹性扩容的能力，可以利用互联网和大数据的优势，给更多小微企业提供金融服务。唐家才 网商银行 CTO“网商银行选择 OceanBase 三地五中心部署...
将XXL-JOB迁移至SAE Job
依赖数据库的锁机制来保证集群分布式调度的一致性，当短时任务量不断增多将对数据库造成较大压力，成为性能瓶颈。相较于无中心模式需要额外部署调度器，调度器和执行器均需要常驻，同时为保证高可用均至少部署两台，当无任务执行时造成不必...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
专题广场
个人数据中心：可查看并管理负责人是自己的资产，详情请参见 个人数据中心。③配置中心 可创建专题分组及配置数据探查。专题分组管理：帮助您对专题分组进行统一管理，提高专题的管理效率，详情请参见 新建及管理专题分组。数据探查配置：...
解决方案与客户案例
异地多活通过跨城多数据中心部署，有效分摊各个数据中心成本，实现成本小于200%冗余。成功案例之联通新客服 案例背景 联通新客服系统承担着联通全国的客服业务，对持续高可用能力有极高要求，同时也是联通向全站高可用演进的起点，其业务...
添加RDS PostgreSQL数据库
在 数据中心 页面下方，单击 新建数据连接。选择需要添加的数据库，单击 去连接数据库。不打开VPC开关，填写数据库信息。参数 说明 数据连接名称 数据源的显示名称，可以自由命名。域名 连接数据库的地址。重要 该地址是DataV-Atlas服务器...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
添加PolarDB PostgreSQL数据库
在 数据中心 页面下方，单击 新建数据连接。选择需要添加的数据库，单击 去连接数据库。不打开VPC开关，填写数据库信息。参数 说明 数据连接名称 数据源的显示名称，可以自由命名。域名 连接数据库的外网地址。重要 该地址是DataV-Atlas...
云产品集成
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
解决方案与客户案例
异地多活通过跨城多数据中心部署，有效分摊各个数据中心成本，实现成本小于200%冗余。案例-国税总局 案例背景 个税系统是国家财税信息化领域的重大工程，集中了全国7.8亿自然人的基础信息和3.6亿活跃申报自然人的纳税申报等敏感信息，已...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
概述
如果使用自建开源大数据生态体系，例如Hive、Spark等，需要专门的大数据工程师来操作和运维，且操作流程也不像使用MySQL一样简单，成本极高。解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
- 产品推荐
- 这些文档可能帮助您