可观测性能力

背景信息 可观测性是以系统的指标、日志、链路追踪三大数据支柱为基础,衍生出如数据监控、问题分析、系统诊断等一系列的能力。指标(Metrics):记录一段时间内各个维度的量化信息,用来观察系统的某些状态和趋势。日志(Logs):记录程序...

可观测性能力介绍

背景信息 可观测性是以系统的指标、日志、链路追踪三大数据支柱为基础,衍生出如数据监控、问题分析、系统诊断等一系列的能力。指标(Metrics):记录一段时间内各个维度的量化信息,用来观察系统的某些状态和趋势。日志(Logs):记录程序...

什么是云数据库Cassandra

理由大数据存储的利器、方便搭配X-Pack Spark Spark是目前主流默认的大数据处理引擎,Cassandra是目前主流的BigData NoSQL数据库。Cassandra+Spark可以处理风控、推荐、物联网等很多数据驱动的业务。阿里云数据库团队也提供了X-Pack ...

JindoFS块存储模式

应用场景 E-MapReduce目前提供了大数据存储系统,E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS,其中OssFileSystem和JindoFS都是云上存储的解决方案,下表为这种存储系统和开源OSS各自的特点。特点 开源OSS E-...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

互联网金融:上海富友支付服务股份有限公司

业务挑战 随着业务规模和用户量的快速增长,高并发交易和海量数据给富友的数据库带来三大挑战:数据导致性能瓶颈:仅扫码业务每日有千万级交易量,加上互联网、跨境和SaaS富掌柜等业务,海量数据下传统商业数据库的性能明显不足。...

步骤六:可视化分析

本文将使用Quick BI指导您完成本教程的可视化分析步骤,包括数据源、数据集的创建和数据大屏图表的配置。步骤一:创建数据源 登录 Quick BI控制台。按照下图操作指引,进入 创建数据源 对话框。在 MySQL-阿里云 区域,配置连接参数。参数 ...

数据可视化概览

背景信息 DMS为您提供了数据数据管理的能力,同时通过SQL Console控制台为您提供以表格形式查询数据的方式,但对于需要通过分析数据去发现业务特性,比如分析趋势、增长对比等场景,单纯的表格无法满足需求,需要把数据可视化才可以支撑...

E-MapReduce弹性低成本离线大数据分析

离线大数据分析概述 主流的大分布式计算框架系统分别为Hadoop、Spark和Storm:Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流...

功能概览

可解决企业批处理复杂大数据的难题,支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成概述 流式ETL 帮助您实现流式数据地抽取、数据转换和加工、数据装载。丰富企业实时数据处理和计算场景,赋能企业数字化转型。什么是...

设置列索引的排序键

开启Pruner后,会根据查询条件与元数据信息将所有列数据块分为相关、可能相关和不相关三大类。读取数据时只考虑相关和可能相关的列数据块。列数据块有不同次序的组织方式,进而会产生不同组合的列数据块集合,Pruner也会有不同的过滤效果,...

可用性与可靠性

AnalyticDB PostgreSQL版 通过主备多副本和磁盘副本来保证数据可靠性。异常时自动切换节点,宕机时自恢复来保证极致的可用性,还可以通过备份恢复来进行数据恢复。主备多副本与云盘副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式...

IoT数据自动化同步至云端解决方案

物联网、大数据和云计算作为当前第次信息化浪潮的代表技术,将在未来形成广泛的影响。物联网专注于物物相连,大数据专注于数据的价值化,云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的...

区域图(v4.0及以上版本)

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

存储费用

MaxCompute会对存储的数据(例如表或资源)及备份的数据,按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右,因此多数情况下,您上传的数据文件大小与实际存储在MaxCompute的大小...

Redis数据

DataWorks数据集成支持使用Redis Writer将数据写至Redis,本文为您介绍DataWorks的Redis数据离线写入能力。使用限制 数据导入过程仅支持使用 独享数据集成资源组。使用Redis Writer向Redis写入数据时,如果Value类型是List,重跑同步任务的...

RestAPI(HTTP形式)数据

RestAPI数据源为您提供读取和写入RestAPI双向通道的功能,本文为您介绍DataWorks的RestAPI数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。目前不支持设置超时参数,当前DataWorks内置的请求超时时间是60s,如果...

RDS MySQL物理备份文件恢复到自建数据库

步骤:恢复数据 重要 恢复数据库前,请先停止自建数据库服务。您可以使用 ps-ef|grep '[m]ysql' 命令查看是否存在 mysql 相关进程,并使用 sudo kill-9将进程结束。MySQL 8.0恢复 恢复前准备。u01/xtrabackup80/bin/xtrabackup-defaults-...

地图组件

数据 url:模型的URL链接。表 1.配置项说明 配置项 说明 受控模式 打开开关,资产初始化状态下不请求数据,仅通过回调ID或蓝图编辑器配置的方法发起请求数据;关闭开关,可以使用自动更新请求数据。开关默认为关闭状态。自动更新请求 选中...

模型查看器

数据源面板 url:模型的URL链接。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据。数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块...

通过DTS导入数据

DTS支持迁移全量数据及增量数据,您可以通过DTS迁移MySQL数据库(例如自建MySQL、RDS MySQL和PolarDB MySQL)同步或迁移至 云数据库 SelectDB 版,并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...

跨阿里云账号同步RDS MySQL实例

注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,...

跨阿里云账号迁移RDS实例

如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...

数据质量风险监控

数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量(DQC)功能,完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台,并保证您的DataWorks工作空间创建区域为华东2...

数据质量风险监控

数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量(DQC)功能,完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台,并保证您的DataWorks工作空间创建区域为华东2...

DataWorks产品安全能力介绍

备份与恢复:云原生底层存储天然支持份副本备份,同时,大数据计算服务MaxCompute提供数据备份与恢复功能,您可对保留周期内的数据进行快速恢复,避免因错误操作丢失数据。安全销毁:阿里云上落盘的数据一经删除,永久不可恢复;同时,...

使用Kettle调度MaxCompute

Kettle支持丰富的输入输出数据源,数据库支持Oracle、MySQL、DB2等,也支持各种开源的大数据系统,例如HDFS、HBase、Cassandra、MongoDB等。您可以在Kettle中通过创建Job的方式连接MaxCompute项目,并按照ETL流程调度作业。前提条件 在执行...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据量大(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极大挑战,通过人工进行数据分级分类显然是不现实的,...

Amazon Redshift应用和数据迁移至AnalyticDB ...

您可通过阿里云在线迁移服务或ossimport迁移工具将Amazon Redshift数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版。准备工作 需要迁移的Amazon Redshift实例。用于导出Amazon Redshift数据的Amazon S3服务。已开通阿里云对象存储服务...

PolarDB HTAP实时数据分析技术解密

在处理大数据量下复杂查询所需要的能力方面,如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级,因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展,用户使用其存储了大量的数据,并且运行着关键...

列存索引技术架构介绍

在处理大数据量下复杂查询所需要的能力方面,如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等,MySQL社区一直将其放在比较低优先级上,因此,MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...

存储类型

说明 容量型云存储使用高密度磁盘存储阵列,提供极低成本存储能力,和高吞吐读写能力,但随机读能力较弱,适用于写多读少场景或大数据计算场景。宽表引擎、文件引擎、流引擎 不涉及。本地SSD盘 0.1ms~0.3ms 网络游戏、电商、视频直播、媒体...

备份恢复计费说明

数据备份在 2023-12-06 周三 04:50 完成,数据备份大小为 200 GB·如此每天进行 200 GB 的数据备份,当数据备份大小超过免费额度 2000 GB 或者备份保留时间超过 15 天之后,会根据小时单价进行收费。备份大小情况:备份/日期 12-04 ...

MySQL分库分表同步至Hologres(方案1.0)

同时,为了便于在Hologres表里区分某条记录属于源端哪个物理库、物理表,则需要在Hologres表中添加上个附加字段(src_datasource、src_database、src_table),标识某条记录的来源数据源实例、数据库以及表,这个附加字段和物理表中的...

从自建TiDB增量迁移至RDS MySQL

本文介绍如何使用数据传输服务DTS(Data Transmission Service),结合Kafka集群与TiDB数据库的Pump、Drainer组件,完成增量数据迁移,实现在应用不停服的情况下,平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前,您可先将自建TiDB...

Lindorm实时入湖建仓分析

方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化,主要包括方面。Lindorm实时入湖建仓引擎:支持T+10min近实时入湖,同时支持Schema推断、动态列增加、分区管理、小文件合并及Clustering等能力。Lindorm...

新功能发布记录

数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由DBS提供,各产品功能动态详情如下。说明 更多产品动态详情,请参见 数据库备份...

云数据库MongoDB版(分片集群架构)同步至云数据库...

数据传输服务DTS(Data Transmission Service)支持将MongoDB(分片集群架构)的数据同步至MongoDB(副本集架构或分片集群架构)。本文以 云数据库MongoDB版 实例间的数据同步为例,为您介绍操作步骤。前提条件 已创建目标 云数据库MongoDB...

云数据库MongoDB版(分片集群架构)同步至云数据库...

数据传输服务DTS(Data Transmission Service)支持将MongoDB(分片集群架构)的数据同步至MongoDB(副本集架构或分片集群架构)。本文以 云数据库MongoDB版 实例间的数据同步为例,为您介绍操作步骤。前提条件 已创建目标 云数据库MongoDB...

产品概述

DataV数据可视化应用搭建平台以丰富的图表组件和二维时空地理组件为特色,搭配强大的低代码可视化搭建编排能力,可以高效、低成本地完成可视化大屏、PC数据看板、移动端报表等各类数据可视化应用的搭建,并集成到您的业务系统中。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数字证书管理服务(原SSL证书) 号码认证服务 物联网无线连接服务 云数据库 OceanBase 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用