数据湖优化-阿里云

【云原生企业级数据湖：打破数据孤岛，优化存储成本】

【云原生企业级数据湖：打破数据孤岛，优化存储成本】随着大数据时代的到来，企业对于数据的处理和存储需求日益增长。如何有效地存储和管理大量数据，同时降低运维成本，成为了企业面临的一大挑战。盛通教育的云原生企业级数据湖方案，正是为了解决这一问题而设计的。云原生企业级数据湖采用对象存储 OSS 作为统一存储...

数据湖管理及优化

摘要：本文整理自阿里云开源大数据高级开发工程师杨庆苇在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分：数据湖元数据仓库介绍阿里云DLF数据湖管理与优化点击查看直播回放数据湖元数据仓库介绍数据湖的实践过程中，我们面临了诸多挑战：第一，数据难以识别和查找。数据湖内存在大量未被有效识...

大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析

4 课时 |

110 人已学 |

加入学习

聚焦 | 数据湖分析如何面向对象存储OSS进行优化？

背景数据湖当前在国内外是比较热的方案，MarketsandMarkets （https://www.marketsandmarkets.com/Market-Reports/data-lakes-market-213787749.html）市场调研显示预计数据湖市场规模在2024年会从2019年的7...

JindoTable数据湖优化与查询加速

概述近几年，数据湖架构的概念逐渐兴起，很多企业都在尝试构建数据湖。相比较大数据平台，数据湖在数据治理方面提出了更高的要求。对于数据湖场景所提出的新需求，“传统”的大数据工具在很多方面都面临着新的挑战。JindoTable 正是专为解决数据湖管理结构化数据甚至是半结构化数据的痛点而设计的，包括数据治...

数据湖分析服务 Data Lake Analytics发布SQL监控结果展示等多项优化

控制台作为使用DLA的第一入口，本次发布了异步执行结果展示、失败SQL原因查看、同步执行结果可调整查看、开发者交流群入口等多个易用性功能，满足极致丝滑的体验。下面跟我一起操作起来：异步执行结果展示当前支持异步执行的SQL，通过“SQL监控”可以查看结果所在的OSS路径，然后去下载或者查看失败SQ...

2020年3月12日数据湖分析服务Data Lake Analytics发布计算引擎与控制台多项优化及改进

本次发布提升及改进如下，列举部分优化删大分区表逻辑，支持删除分区特别多的表。查询OSS 文件遇到异常时把异常文件路径展示给用户，方便定位问题。增加funnel_count_alpha函数，该函数支持event id为varchar或者bigint，支持不同事件在不同的时间戳，支持对null指的...

数据湖分析服务Data Lake Analytics发布支持OSS多版本优化、控制台等多项优化及改进

数据湖分析服务 Data Lake Analytics SQL引擎是兼容MySQL协议的，具备高性能的Serverless化的联邦分析引擎，支持OSS、MySQL、PG、SQLServer、Redis、MongoDB、HBase、OTS等数据源。本次发布提升及改进如下，列举部分：支持OSS多版本优...

数据湖分析服务 Data Lake Analytics发布SQL补全、缓存等多项优化

Data Lake Analytics控制台作为使用DLA的第一入口，本次发布了SQL查询的多个易用性功能，满足极致丝滑的体验。下面跟我一起操作起来： SQL查询关键字补全能力进入SQL查询，在编辑框写SQL，对于"SELECT"、"FROM"等关键字具有补全能力 SQL编辑器缓存能力SQL编辑器编...

共有9条

< 1 >

跳转至： GO

更新时间 2024-01-09 10:32:02

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"img","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","icon":"数据湖构建","iconImg":"https://img.alicdn.com/tfs/TB1aU0U1oT1gK0jSZFrXXcNCXXa-200-200.png","contentLink":"https://www.aliyun.com/product/bigdata/dlf","title":"数据湖构建","des":"数据湖构建服务作为云原生数据湖架构核心组成部分，帮助用户简单快速地构建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控制，并无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。","link1":"https://common-buy.aliyun.com/?commodityCode=dlf_post_public_cn#/buy","btn1":"免费试用","link2":"https://dlf.console.aliyun.com/","btn2":"管理控制台","btn3":"","link3":"","infoGroup":[{"infoName":"产品文档","infoContent":{"firstContentLink":"https://help.aliyun.com/document_detail/183492.html","firstContentName":"产品简介","lastContentLink":"https://help.aliyun.com/document_detail/183498.html","lastContentName":"用户指南"}},{"infoName":"相关推荐","infoContent":{"firstContentName":"对象存储 OSS","firstContentLink":"https://www.aliyun.com/product/oss","lastContentName":"大数据计算","lastContentLink":"https://www.aliyun.com/product/emapreduce"}}]}],"card":[],"search":[],"infoCard":[],"title":{"mainTitle":"数据湖构建","subtitle":"数据湖是一个集中式存储库，可存储任意规模结构化和非结构化数据，支持大数据和AI计算。数据湖构建服务（Data Lake Formation，DLF）作为云原生数据湖架构核心组成部分，帮助用户简单快速地构建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控制，并无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。","linkUrl":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","btnText":""},"visual":{"topbg":"https://img.alicdn.com/tfs/TB1bQuBIYH1gK0jSZFwXXc7aXXa-3840-740.gif","icon":"","textColor":"dark"},"dataList":[{"summary":"啦啦啦","author":"wuwu","linksUrl":"#"}],"sceneCard":[],"txt":[]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"img","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","icon":"数据湖构建","iconImg":"https://img.alicdn.com/tfs/TB1aU0U1oT1gK0jSZFrXXcNCXXa-200-200.png","contentLink":"https://www.aliyun.com/product/bigdata/dlf","title":"数据湖构建","des":"数据湖构建服务作为云原生数据湖架构核心组成部分，帮助用户简单快速地构建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控制，并无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。","link1":"https://common-buy.aliyun.com/?commodityCode=dlf_post_public_cn#/buy","btn1":"免费试用","link2":"https://dlf.console.aliyun.com/","btn2":"管理控制台","btn3":"","link3":"","infoGroup":[{"infoName":"产品文档","infoContent":{"firstContentLink":"https://help.aliyun.com/document_detail/183492.html","firstContentName":"产品简介","lastContentLink":"https://help.aliyun.com/document_detail/183498.html","lastContentName":"用户指南"}},{"infoName":"相关推荐","infoContent":{"firstContentName":"对象存储 OSS","firstContentLink":"https://www.aliyun.com/product/oss","lastContentName":"大数据计算","lastContentLink":"https://www.aliyun.com/product/emapreduce"}}]}],"card":[],"search":[],"infoCard":[],"title":{"mainTitle":"数据湖构建","subtitle":"数据湖是一个集中式存储库，可存储任意规模结构化和非结构化数据，支持大数据和AI计算。数据湖构建服务（Data Lake Formation，DLF）作为云原生数据湖架构核心组成部分，帮助用户简单快速地构建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控制，并无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。","linkUrl":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","btnText":""},"visual":{"topbg":"https://img.alicdn.com/tfs/TB1bQuBIYH1gK0jSZFwXXc7aXXa-3840-740.gif","icon":"","textColor":"dark"},"dataList":[{"summary":"啦啦啦","author":"wuwu","linksUrl":"#"}],"sceneCard":[],"txt":[]}}