相关性函数
函数示例二 在物联网场景中，设备传感器会采集各种维度的数据，这些数据指标可能具有相关性。识别出数据指标间的相关性有助于探索分析数据的特征，也是后续建立模型的基础。下载经过处理的油液温度和黏度数据。例如油液的温度和黏度具有...
接入其他自建或其他云厂商数据库实例
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库，包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎：MySQL MongoDB PostgreSQL Redis 说明 ...
主备方案介绍
主备容灾：当云数据库HBase实例因不可预料的原因（例如设备故障、机房断电断网等）发生故障，容灾机制可用于保障数据的一致性和业务可用性。功能优势 主备双活：请求低毛刺。故障自动容错。资源利用率高。主备容灾：支持云数据库HBase、EMR...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
查询结果不符合预期的常见原因
只要写入过程中没有出现报错，相应的数据一定会写入成功，即使遇到机器宕机等情况，都可以通过恢复WAL的方式恢复数据，保障数据的持久性，不会出现数据写入后非预期不可见的情况。但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、...
服务条款
本服务条款是阿里云计算有限公司(以下简称“阿里云”)与您就云数据库Memcache版(ApasaraDB Memcache）等相关事项所订立的有效合约。您通过盖章、网络页面点击确认，或以其他阿里云认可的方式选择接受本服务条款，或实际使用阿里云提供的 云...
数据管理服务协议
您通过网络页面点击确认、实际购买或使用阿里云所提供的数据管理、下载打印后加盖印章等操作均表示您已阅读并充分理解本协议之内容，与阿里云就订购相应阿里云的数据管理已达成合意，并同意接受本服务协议的全部约定内容，受其约束。...
云数据库 OceanBase 版服务条款
此外，您自行升级操作系统可能会造成宕机等不良影响，请自行把握风险并谨慎操作。3.2.4.阿里云将消除您非人为操作所出现的故障，但因您原因和/或不可抗力以及非阿里云控制范围之内的事项除外。3.2.5.阿里云应严格遵守保密义务。用户业务...
数据湖构建服务条款
此外，您自行升级操作系统可能会造成宕机等不良影响，请把握风险并谨慎操作。5.5.您了解阿里云无法保证其所提供的服务毫无瑕疵（如阿里云安全产品并不能保证您的硬件或软件的绝对安全），但阿里云承诺不断提升服务质量及服务水平。所以您...
视频个性化推荐（协同过滤）
“视频有曝光给用户”（expr）、“用户浏览了视频"（click）、“用户点赞了视频“（praise）实施策略 实施策略如下：相似视频挖掘（I2I）：通过用户的视频交互行为数据挖掘视频与视频之间的相关性，您可基于此案例修改为您的数据来制作符合...
基础版
说明 由于基础版只有一个数据节点，没有备节点作为热备份，因此当该节点意外宕机或者执行变更配置、版本升级等任务时，会出现一段时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版，可选择其他系列（如高可用版）。基础...
接入阿里云ECS自建数据库实例
无法连接：可能是网络不通、实例宕机等原因。认证失败：用户名或者密码错误。权限不足：可以正常连接实例，但是权限不足，请查看 权限说明。单击 完成。集中模式接入 登录 DAS控制台。在控制台首页的 热荐功能 区域单击 快速实例接入。单击...
数据分析整体趋势
市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的数据分析需求。据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从...
可用性与可靠性
异常时自动切换节点，宕机时自恢复来保证极致的可用性，还可以通过备份恢复来进行数据恢复。主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也...
基础系列
重要 RDS基础系列实例只有一个数据库节点，没有备节点作为热备份，因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时，会出现较长时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础系列实例，可选择其他...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
外部数据
本文介绍了外部数据的相关内容。简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在...
云产品集成
在 DataWorks 添加 ApsaraDB For OceanBase 数据源的相关操作，请参见：什么是DataWorks 数据源概述 支持的数据源及同步方案 ApsaraDB For OceanBase数据源 实时计算 Flink 版 实时计算 Flink 版是阿里云提供的全托管 Serverless Flink ...
管理数据库
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
管理数据库
创建RDS MySQL实例后，您需要在实例中创建与您业务相关的数据库。RDS MySQL支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库...
管理用户及数据授权
通过用户管理功能，您可以对数据库进行用户权限控制，这样可以确保只有授权的用户能够管理相关的数据库。前提条件 已创建实例，详情请参见 创建实例。使用限制 普通用户无法执行本文操作。添加用户 进入StarRocks Manager页面。登录 E-...
产品计费
查询冷存储的数据时，查询速度比查询热存储的数据慢。数据查询费用 0.2元/GB 0.3元/GB 查询冷存储的数据时，按量收取数据查询费用。企业版 V1 和V0 重要 仅企业版 V1收取包年包月的费用。公共云 计费项 计费方式 定价 说明 包年包月的费用 ...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
高可用性与容灾
此时如果主节点宕机，副本可能丢失已提交的数据，也就是常说的副本不一致。为了保证副本间的强一致性，现代数据库往往采用以Paxos为代表的多数派复制协议。Paxos通常要求集群中至少存在3个节点，每次写入都要获得超过半数节点的确认，即便...
版本发布记录
数据字典 资源队列 解决开源版中单个大查询消耗资源过多导致实例宕机问题。ClickHouse资源队列 2020年07月 功能名称 描述 相关文档 接入Quick BI 支持在Quick BI中添加ClickHouse数据源并通过Quick BI构建BI系统。Quick BI 2020年06月 功能...
Spark常见报错
报错原因：Spark作业中配置的弹性网卡无法访问指定的数据源。常见于访问RDS MySQL数据源和HDFS数据源的场景。解决方法：检查当前Spark作业中指定交换机的IP地址段是否在数据源的白名单配置中。若不在，则需配置数据源的白名单。例如：访问...
技术原理
为了保证副本间的强一致性，现代数据库往往采用以Paxos算法为代表的多数派复制协议，它要求实例中至少存在3个节点，每次写入都要获得超过半数节点的确认，即便其中1个节点宕机实例也仍然能正常提供服务。PolarDB-X采用X-Paxos复制协议，X-...
行业趋势与背景
从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据永远不会丢，即使主机异常宕机，这里需要有数据强一致以及高可用容灾等能力；比如随着移动互联网和IoT的普及，数据层面会有爆炸式的增长，以及疫情之后有更多的企业会...
深度解析Lindorm搜索索引（SearchIndex）特性
支持文本字段的分词检索，返回相关性较高的结果数据。统计聚合。按照某个字段进行聚类统计，求取sum/max/min/avg等，或者返回去重后的结果集。模糊查询。查询以'阿里'开头的数据，可以匹配出'阿里云'的结果集，类似MySQL的like语法。诸如...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据...相关文档 支持的数据源与读写能力 离线同步能力说明 通过脚本模式配置离线同步任务
离线同步数据质量排查
这些Task以单机或者多机的方式并发执行，每个Task读取一个数据区间内的数据，多个Task最终完成整体的数据同步业务。说明 在数据同步过程中，涉及到读插件Reader，写插件Writer。Reader插件连接具体的数据源头读取数据，并将数据放到内部...
设置白名单
单击左侧导航栏中的 数据安全性。在 白名单设置 页签，单击 default 分组右侧的 修改。在 组内白名单 右侧本文框中输入需要访问图数据库GDB的客户端的IP地址。本教程将使用云服务器ECS连接图数据库GDB，ECS的IP地址可以在 ECS控制台 获取。...
数据建模
进行数据探索 相关性分析 在左侧组件列表，将 统计分析 下的 相关系数矩阵 组件拖入画布中。通过连线，将 相关系数矩阵-1 节点作为 data4ml 节点的下游节点。右键单击 相关系数矩阵-1，在快捷菜单，单击 执行该节点。待运行完成后，右键...
2021年
无 2021年5月 主备切换 通过并行回放，加速恢复主备切换后的数据库服务，通常情况下主库异常可以15s内恢复服务。无 2021年5月 时空数据库（V3.7）类别 名称 描述 相关文档 发布时间 新增 时空并行查询 支持空间索引并行查询，提升查询效率...
如何基于LSM-tree架构实现一写多读
LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的特点，将所有更新操作都转化为追加写方式，提升写入吞吐。LSM-tree类的存储...
应用级别的数据完整性检查
对于使用读已提交事务的数据完整性强制业务规则非常困难，因为对每一个语句数据视图都在变化，并且如果一个写冲突发生即使一个单一语句也不能把它自己限制到该语句的快照。虽然一个可重复读事务在其执行期间有一个稳定的数据视图，在使用 ...
控制台发布记录
10月17日 切换专有网络VPC和交换机 2023年9月 功能名称 功能描述 发布时间 相关文档 PolarDB 支持通过AAT连接AI和数据库表 PolarDB for AI在数据库中可以生成含有AI模型推理列的数据表PolarDB for AI Augmented Table（AAT）。经过人工智能...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表...相关文档 支持的数据源及同步方案 离线同步能力说明 通过向导模式配置离线同步任务
DLA Lakehouse实时入湖
Workload（⼯作负载）是围绕湖仓⼀体化而展开的核心工作的编排调度（由DLA Lakehouse统⼀调度），包括如下功能特点：入湖建仓 为了将其他源头的数据，汇总到整个湖仓内构建⼀个统⼀的数据平台，例如有DB类型的⼊湖建仓，也有Kafka的入湖建...
- 产品推荐
- 这些文档可能帮助您