使用流程
快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与计算，帮助您掌握DLA的基本使用流程。如果您是首次使用云原生数据湖分析DLA的用户，我们建议您先阅读以下部分：产品简介-本内容概述了云原生数据湖分析DLA的...
通过数据同步功能同步Kafka至湖仓版（推荐）
本文主要介绍如何添加Kafka数据源，新建Kafka同步链路并启动任务，以及数据同步后如何进行数据分析和数据源管理。前提条件 已创建Job型资源组。具体操作，请参见 新建资源组。已创建数据库账号。如果您是通过阿里云账号访问，只需创建高...
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
什么是EMR Serverless StarRocks
StarRocks介绍 StarRocks是一款支持MySQL协议的分析型数据库，它集成了向量化处理、MPP架构、代价基础优化器（CBO）、智能物化视图和实时更新的列式存储技术，从而实现了快速、实时、高效的多维数据分析。您可以轻松地将实时或离线数据源...
创建数仓分层
或存放概念模型的维度定义，通过定义维度，确定维度主键，添加维度属性，关联不同维度等操作，构建整个企业的一致性数据分析维表，帮助您降低数据计算口径和算法不统一的风险。对于创建的分层，您可以选择 平铺展示 或 层级结构展示，如下...
按扫描量付费
如果您想通过DLA对OSS和RDS中的数据进行关联分析，根据扫描的数据量，您需要支付的费用为：28+28+28=84 元。针对上述计费示例，您可以通过以下方式来节省DLA扫描费用。将1TB的CSV文件压缩为GZIP格式，压缩后的文件大小为0.4 TB。然后将GZIP...
测试结果
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。1 TB...
MaxCompute账单用量明细分析
如果您想了解费用的分布情况并避免在使用MaxCompute产品时费用超出预期，您可以通过获取MaxCompute账单并进行分析，为资源使用率最大化及降低成本提供有效支撑。本文为您介绍如何通过用量明细表分析MaxCompute的费用分布情况。背景信息 ...
DLF+EMR之统一权限最佳实践
业务A数据分析人员 拥有业务A相关的db_a中部分表的部分列的访问权限，如对table1中col1,cole2的访问权限。操作步骤 创建EMR集群，并使用DLF作为元数据。打开 E-MapReduce控制台。创建E-MapReduce集群，输入选项如下：业务场景：选择 新版...
功能优势
支持数据实时更新 传统的向量分析系统中数据只能按照T+1更新，不支持数据实时写入。分析型数据库MySQL版向量分析支持数据实时更新和查询。支持向量分析碰撞 分析型数据库MySQL版向量分析支持KNN-Join SQL，即比较一批向量与另外一批向量的...
产品计费
本文介绍 数据库自治服务DAS 不同版本的费用、到期、欠费以及续费说明。计费详情 重要 实际价格以产品购买页为准。企业版 V3 说明 支持企业版 V1和V2免费迁移至企业版 V3，迁移完成前按照当前版本计费，迁移完成后按照迁移目标版本计费。...
阿里云智能质检
为了解决此类质量检测问题，需要做大量的数据分析。服务质量亟待提升 针对以上问题，许多公司都成立了客服质检团队。然而，粥多僧少，2-3名的质检人员往往需要应对每月上万级的服务数据。在传统质检方式下，如果质检人员随机抽取服务数据...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
基本概念
但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并创建金字塔。坐标系统 Ganos Raster支持OGC CRS标准定义的坐标系统。用户可以按照EPSG坐标参照系统参数来定义栅格数据所...
间隔分析
固定时段」可以在日历框中直接选择起始日期，点击确认后就会选取当前时间范围，进行数据分析（固定时段无时间段范围限制）。查看分析图表 设置完查询条件并点击「开始分析」后，可查看分析结果。点击右上角的「更多」按钮「导出数据」可以...
MapReduce
维基百科数据分析。海量数据挖掘：非结构化数据、时空数据和图像数据挖掘。机器学习：监督学习、无监督学习和分类算法（例如决策树、SVM）。自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复...
Spark SQL
无需用户打包jar包或者写python代码，更有利于数据开发人员使用Spark进行数据分析。您需要先登录 DLA控制台，在 Serverless Spark>作业管理 菜单中创建SparkSQL类型的作业。创建SparkSQL类型的作业后，系统默认会使用DLA元数据服务。如果您...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
Iceberg概述
数据质量控制 借助于Iceberg Schema的校验功能，在数据导入时剔除异常数据，或者对异常数据做进一步处理。数据Schema变更 数据的Schema并非固定不变，Iceberg支持通过Spark SQL的DDL语句完成表结构变更。Iceberg在变更表结构的时候，历史...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
路径分析
固定时段」可以在日历框中直接选择起始日期，点击确认后就会选取当前时间范围，进行数据分析（固定时段无时间段范围限制）。查看分析图表 分析结果以桑基图形式展现，根据设置的起始和结束事件可以查看后续／前置路径，同时鼠标hover具体的...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
分布分析
说明 本文档内容为 Quick Tracking 产品使用介绍和技术集成说明文档，不作为销售依据；具体企业采购产品和技术服务内容，以商业采购合同为准。概述 分布分析，指的在划分的区间内，某个事件指标上的用户分布情况。常见的有查看按某个事件...
查看集群日报与分析
Hive库冷热数据分布Top信息会展示如下：库极冷数据量分布Top 库冷数据量分布Top 库温数据量分布Top 库热数据量分布Top 说明 冷数据是长时间不访问的数据，推荐放到冷备存储，例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况，有...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
后续可通过映射的MaxCompute项目对External Project进行数据分析操作。仅MaxCompute项目的所有者（Project Owner）或具备Admin、Super_Administrator角色的用户可以创建External Project。说明 tenant的Super_Administrator角色可以在...
从Oracle迁移应用至阿里云PolarDB全流程指南
割接前预留足够的时间做数据一致性校验。必须保证所有的校验订正完成才能进行割接。割接方案：（1）一刀切；（2）按照业务线灰度割接；（3）流量灰度 一刀切对应用的要求最低，只要数据一致性校验通过，增量追齐就可以开始割接流程。按照...
session分析
说明 本文档内容为 Quick Tracking 产品使用介绍和技术集成说明文档，不作为销售依据；具体企业采购产品和技术服务内容，以商业采购合同为准。概述 session，可以理解为会话，即在指定的时间内在产品上发生的一系列用户行为。例如，一次...
添加数据源概述
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
事件分析
固定时段」可以在日历框中直接选择起始日期，点击确认后就会选取当前时间范围，进行数据分析（固定时段无时间段范围限制）。查看分析图表 设置完查询条件并点击「开始分析」后，可查看分析结果。图表样式支持以「折线」、「柱图」、「排行...
JSON索引（2.0版）
随后又写入数据 {"id":"1"}，分析型数据库MySQL版推断 id 为字符串类型，此时前后类型不一致，系统会提示类型不匹配错误。分析型数据库MySQL版支持JSON数组写入，包括PLAIN ARRAY及嵌套ARRAY。例如，{"hobby":["basketball","football"]}，...
服务质量分析
服务质量分析的数据维度 在基础分析功能中系统支持以质检类型、质检结果类型、时间区间、质检方案、技能组和坐席数据维度进行分析。服务质量透视 服务质量透视是根据各检测项的得分情况对所选坐席和全体坐席进行比较分析。其中所选坐席数据...
可视分析创作间和传统BI软件差异比较
预定义的报告 需要行业数据经验专家，搭建数据报表 分析过程需要理解：维度、度量、数据类型等统计知识 可视化数据的图表配置也需要专业数据分析人员支持 支持二次分析 不支持二次分析 数据分析结果 数据集产生的所有见解，提炼在数据...
常见问题
高级版试用版为什么不能连接Hive数据源？高级版是否支持报表使用分析功能？高级版如何上传本地文件？高级版是否支持翻牌器、排行榜和桑基图？专业版问题 专业版是否支持无限制导出数据？Quick BI产品定位 请参见 什么是Quick BI。控制台上...
条形图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
柱状图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
功能概述
说明 如果您想分析压测前后，源数据库实例与目标数据库实例上SQL模板的执行性能差异，目标数据库实例也需要开启DAS 企业版。SQL模板的执行性能差异可用来应对数据库引擎升级、规格切换等业务场景。不支持政务云和金融云下的数据库实例。...
上海新能源汽车车辆基础数据
方案亮点：PB级新能源车辆基础数据、高性能采集入库、高效数据分析、低成本运营。客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，...
MongoDB实例空间使用率高问题
部分db未做分片 云数据库MongoDB分⽚集群实例允许部分db做分片，部分db不做分片。那么必然会带来这样的⼀个问题：不做分片的db的数据必然只能存在⼀个分⽚上，如果该db数据量很⼤，可能会造成该分⽚的数据量远⼤于其他分⽚。从⼀个源端...
OSS数据源
OSS数据源配置模式 OSS数据源配置支持 数仓模式 和 自由模式，两种模式差异如下：OSS数据源配置 使用场景 OSS路径格式要求 识别精度 性能 数仓模式 用户直接上传数据到OSS，并期望构建可分析与计算的标准数据仓库。库/表/文件”或者“库/表...
- 产品推荐
- 这些文档可能帮助您