ActionTrail日志清洗

DLA提供ActionTrail日志自动清洗解决方案,可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表,同时自动对数据进行分区和压缩,方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...

为什么DTS迁移数据前后的数据大小不一样

数据的写入方式不同,可能会导致两相同文档条数的实例的存储大小不同,因为WiredTiger页面的存储和拆分方式可能不同,索引的生成方式有所差异,为了对齐而填充(padding)的内碎片以及数据块的压缩率也会有所差异。因此,源实例和目标...

Quick BI如何接入TSDB

Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建,对数据进行即时的分析与查询;通过电子表格或仪表板功能,以拖拽的方式进行数据的可视化呈现。连入成功后,您可以在...

T+1多库合并建仓

上述方案可解决因数据而导致的用户体验问题,但在对分库分表数据进行大数据分析时,逻辑上的一个表被拆成了多张表,由于没有类似TDDL中间件来屏蔽物理表的拆分,进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

产品优势

全托管的Databricks数据洞察大数据分析平台,可以让您从繁杂的环境运维、内核优化等工作中解脱出来,专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定 产品内核使用Databricks商业版的Runtime和Delta Lake。与...

数据源白名单配置

产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X(2.0)设置白...

概述

解决方案 T+1全量同步键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,...

支持的数据

类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka至湖仓版(推荐)日志类数据 日志服务(SLS)数据同步 通过数据同步功能同步SLS至湖仓版(推荐)大数据 Hive 数据迁移 Hive数据导入 相关文档 AnalyticDB...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

基本概念

栅格数据(Raster Data)是将地理空间分割成有规律的网格,每一个网格称为一个单元(像元或像素),并在各单元上赋予相应的属性值来表示实体的数据形式。栅格数据通常有两种类型的栅格数据:专题数据和影像数据。专题数据:每栅格像...

Databricks Runtime版本说明

Databricks数据洞察的内核引擎是Databricks Runtime,Databricks Runtime包括Apache Spark,并在此基础上进行了大量的功能和性能优化,可以显著提高大数据分析的可用性、性能和安全性。Databricks Runtime版本与Databricks官方保持一致,...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

什么是Databricks数据洞察

Databricks数据洞察(简称DDI)是基于Apache Spark的全托管大数据分析平台。产品内核引擎使用Databricks Runtime,并针对阿里云平台进行了优化。DDI为您提供了高效稳定的阿里云Spark服务,您无需关心集群服务,只需专注在Spark作业的开发上...

产品优势

云原生数据湖分析DLA(Data Lake Analytics)是新一代大数据解决方案,采取计算与存储完全分离的架构,支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统Hadoop...

工作原理

数据库网关提供私网数据库远程访问的连接服务。通过数据库网关,您可以使用云服务访问并管理本地IDC或其他云厂商的数据库。工作原理 本地安装一个数据库网关代理(database gateway agent)。数据库网关代理负责与数据库网关云端服务...

实施步骤

步骤:为大屏中的国家销售额排名组件配置数据 选中 销售额国家排名 组件,在 数据 页面进行参数配置。数据源类型:选择数据库。数据源:选择步骤二中添加的DLA数据源(dla_hangzhou_tpch)。SQL:输入以下SQL,按国家销售额降序排序。​...

访问外部数据

本文介绍如何在Databricks数据洞察实现访问外部数据源的需求。背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据,支持通过添加外部数据源的方式,打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的...

MSCK REPAIR DATABASE

MSCK REPAIR DATABASE db_name 示例 msck repair database db001 注意事项 如果DataBase对应的数据源是adbpg,因为adbpg中一个数据库会存在多schema,不同schema中可能存在表名一样的表,所以只能识别出public schema中的表。

应用案例

您可以在GitHub上获取时空数据分析的典型案例,以便快速熟悉DLA Ganos的各项功能。栅格代数运算 栅格代数运算是指使用数学运算符对栅格数据进行加减乘除等代数计算的操作。例如,您可以应用简单的数学运算(例如加法或乘法)来更新栅格像元...

教程概述

文档通过一个案例,演示了如何基于阿里云产品和服务实现设备数据在大屏上展示。本案例的原理如下:在设备端模拟两字段,通过MQTT协议向阿里云物联网平台设备(高级版)发送数据。物联网平台接收到数据后通过规则引擎转发至DataHub。在...

读写RDS MySQL数据

DLA支持连接RDS(MySQL、SQLServer、PostgreSQL)数据源,然后通过SQL语法查询和分析RDS数据,同时支持将分析结果回写入RDS。本文以RDS MySQL为例介绍如何通过DLA读写RDS数据。注意事项 如果您的RDS实例位于VPC网络内,默认情况下DLA无法...

应用场景

物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据,这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算...

迁移方案概览

数据迁移功能帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型,以及具体的配置文档。说明 数据迁移在某些场景...

备份恢复

恢复云数据库MongoDB单个或多个数据库:您可以选择实例运行的某个时间点新建实例,将单个或多个数据库恢复到该时间点,适用于单或多个数据库快速数据恢复的业务场景。相关文档 根据MongoDB实例类型的不同,支持的备份恢复方式不尽相同。...

概览

支持 从自建数据库同步数据 文档 简介 是否支持Serverless版本 从ECS上的自建MySQL同步至AnalyticDB PostgreSQL版 数据传输服务DTS(Data Transmission Service)支持将ECS上的自建MySQL数据同步至 AnalyticDB PostgreSQL版,帮助您轻松...

工作流调度Zeppelin Notebook

在Databricks数据开发中,您可以在项目空间的作业编辑中创建组有依赖的 Zeppelin 作业,然后创建工作流,按照依赖次序定义执行顺序,Databricks工作流支持基于有向无环(DAG)并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...

视频专区

DataV数据可视化 7.0 如何使用模板快速创建第一大屏 如何配置可视化组件样式和数据 如何发布并分享数据大屏 如何创建演示预案进行投屏演示 DataV数据可视化 6.0 基本概念及应用场景说明 工作空间管理和用户中心说明 我的可视化界面说明 ...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

XML 类型

xml 数据类型可以被用来存储 XML 数据。它比直接在一个 text 域中存储 XML 数据的优势在于,它会检查输入值的结构是不是良好,并且有支持函数用于在其上执行类型安全的操作。使用这种数据类型要求在安装时用 configure-with-libxml 选项...

数据源概述

说明 数据同步基于数据源控制任务读写端数据库,您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库或数据仓库的相关信息,以便在同步过程中,可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...

Presto FAQ

例如把数据的放在左边,数据量小的放在右边。对数据进行分区。分拆计算,把一个SQL拆成多小SQL。文件格式是ORC,为什么看扫描量是扫描了整个文件,而不是只扫描SQL里面指定的列?分析型的查询往往只会获取一个表里面少数几列的数据...

产品更新动态

2023年9月 发布时间:2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块,用户可以在数据中心连接和管理数据库,并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...

如何清理孤立文档

该命令的执行耗时与库表的数据量和文档数成正比,当数据量较时,查询耗时会比较长,请耐心等待。您需要对实例中每库表均执行一次该命令。返回示例如下。返回结果中,您仅需要关注 SHARDING_FILTER 阶段,其中 chunkSkips 的值就是该库...

概述

RAG架构通过信息检索系统,增加了语言模型(LLM)的能力,提供了相关的上下文信息,比如特定行业或私有数据文档。RAG架构如下图所示:本快速入门基于 AnalyticDB PostgreSQL版 的自研向量引擎FastANN,并提供了系列的文档处理能力,通过...

数据授权

您授权允许 数据安全中心(DSC)访问MaxCompute、RDS和对象存储OSS数据时,可能会出现授权失败的情况。您可以参考以下原因排查数据授权问题。RDS连接授权失败有哪些原因?RDS数据库账号或密码输入错误。您自行删除了RDS访问白名单中 DSC ...

PostgreSQL 数据

本文为您介绍如何创建高权限的 RDS PostgreSQL 实例用户。...本文创建的 RDS PostgreSQL 实例用户,用于创建 PostgreSQL ...相关文档 新建 PostgreSQL 数据源 创建数据迁移项目 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户

开发管控:管理者

作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...

功能发布记录(2024年)

2024.1.25 所有地域 所有DataWorks用户 数据脱敏能力概述 数据保护伞概述 数据地图支持展示实时同步链路数据血缘 数据地图新增解析及展示如下实时同步链路的数据血缘:MySQL实时写入MaxCompute/Hologres Kafka实时写入MaxCompute/Hologres ...

什么是DataWorks

产品架构 DataWorks十多年沉淀数项核心能力,通过 智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六全链路数据治理的能力,帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云原生大数据计算服务 MaxCompute 云数据库 RDS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用