应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
新建Paimon数据源
通过新建Paimon数据源能够实现Dataphin读取Paimon的业务数据或向Paimon写入数据。本文为您介绍如何新建Paimon数据源。权限说明 仅支持具备新建数据源权限的账号进行新建。更多信息，请参见 数据源权限说明。使用限制 Paimon数据源不支持以...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
概述
创建数据迁移项目时，您可以指定的最大迁移范围是数据库级别，最小迁移范围是表级别。详情请参见 数据迁移 模块的内容。说明 目前数据迁移项目仅支持后付费模式，即按量付费计费模式。当前为限时免费阶段，具体收费时间另行通知。详情请...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
受众与核心能力
产品受众 从事数据开发、算法开发等岗位的技术人员 从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员 从事数据应用开发的开发人员 把控公司核心数据资产的管理人员 核心能力 基于DataWorks，您可以获得如下...
大数据安全治理的难点
这些链路都是数据机密性受损的直接渠道，数据流转安全策略定义不清楚或未定义、底层链路未禁用、API安全防护缺失、人员行为未做风控 都会导致数据安全事件发生。例如，非法出境（出域）、脱库、泄露等。交付 大数据系统负责每日产出用于...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据的数据量大小。极冷数据指的是 90 日以内...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
GetDoctorHDFSCluster-获取HDFS分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。Name string 指标名称。warmDataSize Value long 指标值。4062349775577 Unit string 指标单位。MB Description string 指标描述。Size of the warm data size ...
GetDoctorHiveDatabase-获取Hive库信息
大文件指的是 1 GB 以上大小的文件。Name string 指标名称。largeFileCount Value long 指标值。1000 Unit string 指标单位。Description string 指标描述。Number of large files MediumFileCount object 中文件个数。中文件指的是 128 ...
GetDoctorHiveTable-获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。Name string 指标名称。warmDataSize Value long 指标值。14981 Unit string 指标单位。MB Description string 指标描述。Size of the warm data size ColdDataSize ...
GetDoctorHiveCluster-获取 Hive 集群信息
冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。Name string 指标名称。coldDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of cold files FreezeDataSize object 极...
ListDoctorHiveDatabases-批量获取 Hive 库信息
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。Name string 指标名称。warmDataSize Value long 指标值。1000 Unit string 指标单位。MB Description string 指标描述。Ratio of warm files ColdDataSize object 冷数据...
GetDoctorHDFSDirectory-获取HDFS特定目录分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。Name string 指标名称。warmDataSize Value long 指标值。4062349775577 Unit string 指标单位。MB Description string 指标描述。Size of the warm data size ...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
查询Delta表数据
本文示例中，使用的是默认的数据库。您可以根据需要修改此参数。user hadoop：指定用于身份验证的用户名。执行以下命令，在Presto中查看Delta表的数据。select*from delta_table;返回如下信息。id-2 3 4 0 1(5 rows)说明 查看数据与在Spark...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
准备用于数据同步的数据库账号
无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限，以允许DTS在源和目标数据库中创建库dts，用于做数据防循环复制。数据库 所需权限 创建及授权方式 RDS MySQL 高权限账号。创建数据库和账号。自建MySQL 待...
准备用于数据迁移的数据库账号
重要 如需执行增量数据迁移，且不允许授予DBA权限，您可以为数据库账号授予更精细化的权限，详情请参见 需授予的精细化权限。云数据库MongoDB 全量数据迁移：待迁移库的read权限。增量数据迁移：待迁移库、admin库和local库的read权限。请...
- 产品推荐
- 这些文档可能帮助您