产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
宜搭创建大屏实操
进入 请选择大屏模板 页面，在 模板列表 中选择 集团数据大屏 模板，并单击下方的 就选它。模板大屏创建成功后，在大屏编辑界面上方，单击重命名处，将大屏的名称修改为 企业经营数据大屏。在大屏编辑界面，从左往右依次为图层区，组件区，...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
创建GreenPlum数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建GreenPlum数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
创建Impala数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Impala。如果您最近使用过Impala，也可以在 最近使用 区域选择Impala。同时，您也可以在搜索框中，输入Impala的关键词，快速筛选。在 新建Impala数据源 对话框中，配置连接数据源参数。配置...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
创建Teradata数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建Teradata数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
冷热分层
在数据湖架构设计中，通常会应用HTAP（Hybrid Transaction and Analytical Process）体系结构，通过合理地选择分层存储组件和计算引擎，既能支持海量数据分析和快速的事务更新写入，又能有效地降低冷热数据分离的成本。更多介绍请参见 结构...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的...可视化编辑：在图形化的编辑页面，通过拖拽即可完成专业级的大数据可视化。方案详情 方案的详情请参见 互联网、电商行业离线大数据分析和大屏展示。
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据分析概述
进入数据分析 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析>SQL查询，在下拉框中选择对应工作空间后单击 进入SQL查询。进入 数据分析 首页，页面包含以下两个区域：快捷入口：在 快捷入口 区域，单击对应图标进入 ...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据服务入门
数据源名称 选择需要基于该类型数据源下的哪个数据源生成API。本文示例选择 步骤一：创建数据源并配置网络连通性 创建的 rds_workshop_log 数据源。数据源环境 标准模式工作空间支持选择访问开发或生产环境数据源，两种环境的区别，详情请...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
一键MaxCompute数据同步节点
DataWorks支持使用DataStudio一键同步MaxCompute数据至Hologres，您可使用该方式快速查询MaxCompute表数据。本文为您介绍如何创建并使用一键MaxCompute数据同步节点。背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
创建AnalyticDB for PostgreSQL数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力，您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源，或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...
创建AnalyticDB for MySQL3.0数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力，您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源，或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
- 产品推荐
- 这些文档可能帮助您