常见问题
数据分类使用预先定义的分类规则和方法，对信息资产进行组织，为数据分析和治理提供有效的优先级策略。数据分类是数据价值分析和评估的前提条件。数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
智能小Q
中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)，联合50余家企业的100余位专家共同镇制完成了《大模型驱动的智能数据分析工具》标准，瓴羊为核心参编企业之一。标准包含数据准备能力、大模型...
智能小Q：引领数据消费新范式
中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)，联合50余家企业的100余位专家共同镇制完成了《大模型驱动的智能数据分析工具》标准，瓴羊为核心参编企业之一。标准包含数据准备能力、大模型...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
BI分析器交互使用说明
事件 事件 说明 当下钻或选中变动时 当下钻或选中变动事件触发时，抛出object类型的数据项，自动化控制数据分析的展示，需要包含如下字段：{"id":"",/进行下钻或选中的分析器id"drillStack":[/记录下钻路径 {"comId":"",/发起下钻的组件id...
数据大屏
应用场景 场景描述 预期效果 场景一：授予数据大屏编辑权限 让分析师A（分析师A与资源在同一空间）可以在工作空间下编辑数据大屏。场景二：授予数据大屏的查看权限 让访问者B（访问者B与资源不在同一空间）可以在工作空间下查看数据大屏。...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
基本概念
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB、PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将Lindorm数据导入...
概述
本章节介绍了冷数据归档方法、技术原理等内容。技术原理 归档为 CSV 或 ORC 格式的技术原理图如下：集群中的热数据存储在共享存储（PolarStore）中，各个 PolarDB 节点通过分布式文件系统（PolarFileSystem）访问PolarStore中的数据。为...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据传输DTS：数据传输服务（Data Transmission Service）DTS支持关系型数据库、NoSQL、大数据（OLAP）等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，...
用户洞察
主要结合标签能力，对存量用户提供丰富、灵活的洞察分析能力，可实现全量用户、细分用户多维度、多形态的分析方法，满足业务人员对用户的全方位理解 用户概览 概述 基于全量私域用户，洞察整体特征分布情况，了解显著特征。操作说明 1.查看...
智能商业分析 Quick BI
智能商业分析 Quick BI是一个专为云上用户量身打造的新一代智能BI服务平台。Quick BI可以提供海量数据实时在线分析服务，支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。
快速入门综述
分析型数据库MySQL版（AnalyticDB MySQL版）是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议以及SQL 2003语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。前提条件 先注册阿里云账号。如果以按量付费方式...
MongoDB实例空间使用率高问题
分⽚集群架构 当云数据库MongoDB实例为分片集群架构时，您可以登录 MongoDB管理控制台 通过以下方法查看空间使用情况：监控图分析 在 监控信息 页面，选择目标节点，查看目标节点的 磁盘空间使用量（Bytes）和 磁盘空间使用率（%）。...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
MaxCompute表数据
关于数据脱敏规则配置方法，详情请参见 创建数据脱敏规则。暂不支持MaxCompute外部表和包括JSON字段类型的MaxCompute表的数据预览。进行数据探查 数据探查通过分析数据的结构和取值，为您展示数据的统计信息和分布情况等探查结果。说明 ...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
角色权限
空间开发者 可连接数据源、创建数据集、通过分析数据和查看空间内所有资源，一般授予企业IT人员、数据分析师和数据运营人员开发权限，拥有所有模块的新建（编辑）、使用和查看权限。空间分析师 可通过分析数据和查看空间内所有数据作品，...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
【通知】数据可视化（老）功能下线通知
若您正在使用数据可视化（老）功能进行数据分析，建议在功能下线前将数据集、图表和仪表盘迁移到数据分析功能。下线时间 2024年04月01日：针对部分用户，下线访问数据可视化（老）功能。说明 部分用户指在2023年04月01日至2024年04月01日这...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
查询概述
查询进阶 查询加速 为了提供极致的数据分析服务，SelectDB中采用了查询优化技术，包含基于Cascades框架的全新优化器、基于Pipeline的执行引擎、高并发点查、物化视图、索引加速、Join优化等。通常情况下，SelectDB会自动优化查询规划和执行...
Serverless Spark概述
解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示：Serverless Spark将Spark、Serverless、云原生技术，深度整合到一起，相对于传统开源Spark集群版方案，具体以下...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
应用场景
实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
上海新能源汽车车辆基础数据
2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，依托于阿里...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
功能特性
海量时空数据的快显分析能力 快速时空数据分析能力能够处理海量数据，并支持对千万级矢量数据进行可视化分析，帮助用户实时验证分析结果。内置地理统计分析能力 我们提供内置的地理统计分析功能，可以科学而专业地使用颜色、符号、宽度、...
背景信息以及准备工作
DLA可以对投递到OSS上的数据按年、按月、按日进行多维度的分区，提高数据的命中率，降低扫描量，从而以极低的成本、极高的性能来完成大数据量历史数据分析。DataV中有多种场景模板，解决您的设计难题。提供多种业务模块级别而非图表组件的...
导出数据
分析型数据库MySQL版对海量数据分析计算后支持输出（DUMP）数据结果，目前支持两种DUMP方式：导出数据到OSS 导出数据到MaxCompute
产品架构
按照传统方案，为了满足多种类型数据的存储、查询和分析需求，在设计IT架构时，需要针对不同种类的数据，采用不同的存储分析技术，如下图：这种技术方案，是一种典型的技术碎片化的处理方案。针对不同的数据，使用不同的数据库来处理。有...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
- 产品推荐
- 这些文档可能帮助您