StarRocks快速使用数据湖分析版实例
StarRocks快速使用数据湖分析版，无数据迁移可实现快速数据湖分析 适用客户 全网用户 新增功能/规格 数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-...
数据分析整体趋势
综上所述，数据分析技术趋势主要包括：云原生分布式：无论是OLTP还是OLAP，如今单机数据已无法满足企业业务和数据快速增长的需求，分布式数据库成为主流，同时数据库市场未来主要在云上（"Gartner:The Future of the DBMS Market Is Cloud...
功能特性
支持的数据库引擎与功能 沙箱实例 基于Copy Data Management（CDM）技术，通过开启和配置DBS沙箱，快速恢复数据至沙箱实例中，使备份数据快速可用。DBS沙箱功能概览 云灾备 自建数据库备份上云，并恢复数据到云数据库上，可用于备份上云、...
查看运维大屏
您可根据排行快速查找耗时较久的任务，并单击实例ID进入实例详情页，通过运行诊断查看当前实例的运行详情。说明 变慢时长：即昨日该实例运行时长相比历史平均运行时长变慢多少，并按照差值降序排序。周期实例近一个月出错排行榜 统计最近...
备份与恢复方案概览
适用于小部分数据错乱或意外丢失场景，根据数据的闪回Key可对这部分数据进行回档，快速恢复数据。下载备份文件 下载备份文件 MongoDB 4.2及以下版本的副本集本地盘实例。MongoDB 4.2及以下版本的分片集群本地盘实例。您可以将云数据库...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
云原生大数据计算服务 MaxCompute
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
SQL Console初体验
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
数据共享
本文将指导您快速完成数据共享的创建和使用的全流程。教程说明 请准备两个Serverless版本实例：实例A和实例B。实例A和实例B属于同一个阿里云账号，且位于同一地域。创建Serverless版本实例，请参见 创建实例。本教程将为实例A和实例B开通...
关系图
DataWorks智能数据建模的关系图，帮助您快速构建数据仓库模型架构图，直观展示数据仓库中维度、维度表、明细表、汇总表、应用表等各模型之间的关系。一个关系图承载一个数据仓库模型，一个账号支持创建多个关系图。本文为您介绍关系图的...
Kafka实时ETL同步至Hologres
您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助您快速评估数据处理节点...
LogHub（SLS）实时ETL同步至Hologres
您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够帮助您快速评估数据处理...
SSH服务的相关介绍
Linux环境自动登录 SSH连接交互过程简介 非对称加密算法 说明：SSH服务主要采用RSA算法（协议V2默认算法）和DSA算法（协议V1仅支持该算法）来实现非对称加密技术。SSH服务是基于非对称加密（public-key cryptography，也称公开密钥加密）...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
什么是备份数据量
存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小：数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（内置存储）。...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
DBMS_CRYPTO
DBMS_CRYPTO 包提供的函数和存储过程允许您对RAW、BLOB或CLOB数据进行加密或解密。您可以使用 DBMS_CRYPTO 函数来产生强加密型随机值。DBMS_CRYPTO函数/存储过程 函数/存储过程 返回类型 描述 DECRYPT(src,typ,key,iv)RAW 解密RAW类型的...
DataWorks模块使用说明
使用流程概览：参考文档：数据分析概述 数据治理 子模块：数据地图 功能说明：DataWorks数据地图提供了企业级数据管理平台，能够基于统一元数据的底层建设，提供数据对象的管理和盘点的能力，以及数据对象的快速查找和深度理解的能力。...
功率时序曲线诊断
数据服务提供功率时序曲线诊断算法，应用于光伏智能运维检测，通过对功率时序曲线的特征分析，可以发现潜在的发电低效站点并进行预警，引导运维人员及时定位排查，从而降低运维成本并提高电站的经济回报。本文介绍光伏智能运维中功率时序...
Contextual Bandit 算法
推荐系统中的数据循环问题 算法决定展示内容，展示内容影响用户行为，而用户行为反馈又会决定后续算法的学习，形成循环。在这种循环下，训练集和测试集与监督学习独立同分布的假设相去甚远，同时系统层面上缺乏有效探索机制的设计，可能...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
DataHub成本节省攻略
历史经验告诉我们，读写操作在服务端感知用户的数据内容是一个相对冗余的操作，所以我们让数据使用一个大的buffer来交互，不再去感知真正的数据内容，真正需要用到数据内容的地方再解析出来（例如同步任务），写入时的数据校验全部推到客户...
查询概述
湖仓一体 SelectDB提供多源数据目录功能（Multi-Catalog或Catalog），支持对接数据湖（如Hive、Iceberg、Hudi）、数据库（如MySQL、ES）等大量外部数据源，进行简单快速的数据分析。通过使用Catalog，您可以快速访问和分析存储在外部数据源...
使用DMS数据追踪进行恢复
DMS的数据追踪功能可以快速按需找到目标时间段内的相关更新，并生成逆向回滚语句，追踪完的数据可批量生成回滚脚本，通过数据变更工单最终执行到数据库中完成数据的修复。当误操作受影响的数据量在10万以内时，您可使用该方法进行数据恢复...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
操作指南
用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
Decrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
技术分析函数
技术分析的函数将广泛使用的算法应用在您的数据中。虽然这些函数主要应用在金融和投资领域，但是它们也适用于其它行业和用例。本文档主要介绍了技术分析函数的语法结构、语法说明以及使用示例。通用参数说明 除了 field key 参数，技术分析...
AdvanceEncrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
Encrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
典型使用场景
实时计算-HBase增强版（Lindorm）+Blink/Spark 基于数据的应用，如算法、智能运营、监控大屏等系统。通常需要实时获取业务系统产生的数据，基于数据更新进行实时计算。HBase具有高吞吐，低延迟，schemaFree，水平扩展等能力，被很多大数据...
DBS沙箱功能概览
您可以在DBS沙箱功能中快速创建DBS沙箱实例（RDS应急实例），让您的备份数据快速可用，且在沙箱中的读写不会影响到源数据库，同时还可以进行恢复演练、开发测试、查询分析和应急容灾等其他操作。背景信息 在海量数据场景下，传统数据库备份...
- 产品推荐
- 这些文档可能帮助您