离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
HTAP中的行列混存查询优化
即先按照各个谓词的选择率排序，之后按照如下公式计算选择率：该算法在基于现实数据的大部分数据集中能有效地减少估计误差。优化效果评估 在TPCH 1 TB数据集上测试开启/关闭IMCI查询优化的性能。如下图所示：由上图可以看出，对于Q8和Q9的...
数据量
存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小：数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（内置存储）。
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
同步时源库为Db2 for LUW的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
自定义召回模型
数据源：本数据源为天池大赛提供数据，数据按时间分为两份，分别是7月份之前的购买行为数据和7月份之后的。具体字段如下：字段名 含义 类型 描述 user_id 用户编号 string 购物的用户ID item_id 物品编号 string 被购买物品的编号 active_...
使用协同过滤实现商品推荐
数据集 本工作流数据由天池大赛提供，根据时间将其分为7月份之前和7月份之后的购买行为数据，具体字段如下。字段名 含义 类型 描述 user_id 用户编号 STRING 购物的用户ID。item_id 物品编号 STRING 被购买物品的编号。active_type 购物...
DataHub成本节省攻略
历史经验告诉我们，读写操作在服务端感知用户的数据内容是一个相对冗余的操作，所以我们让数据使用一个大的buffer来交互，不再去感知真正的数据内容，真正需要用到数据内容的地方再解析出来（例如同步任务），写入时的数据校验全部推到客户...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
资产安全概述
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
资产安全概述
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
Contextual Bandit 算法
推荐系统中的数据循环问题 算法决定展示内容，展示内容影响用户行为，而用户行为反馈又会决定后续算法的学习，形成循环。在这种循环下，训练集和测试集与监督学习独立同分布的假设相去甚远，同时系统层面上缺乏有效探索机制的设计，可能...
Tair扩展数据结构概览
云数据库 Redis 版 与开源Redis相同，支持String、List、Hash、Set、Sorted Set、Stream等数据类型，能够满足大部分场景下的开发需求，但无法直接满足一些复杂场景的业务需求，需要通过开发大量代码、使用Lua脚本等复杂的方式实现。...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
操作指南
用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、...
DataWorks交流钉钉群
在阿里巴巴内部，每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击 申请链接 加入“阿里云大数据AI平台”交流群，再扫描下方二维码加入DataWorks产品钉钉交流群，加入后，即可获得专属产品技术支持，技术直播活动，产品新...
Decrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
Encrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
模型创建
采用HNSW图结构构建整个向量索引，并通过该算法进行查询，适合大规模的数据集。FLAT：不单独构建索引，采用暴力搜索的方式执行查询，适合1万条以下的小规模数据集。否 retrieval_distance_method VARCHAR 向量检索的距离函数。取值如下：IP...
CREATE MODEL
采用HNSW图结构构建整个向量索引，并通过该算法进行查询，适合大规模的数据集。FLAT：不单独构建索引，采用暴力搜索的方式执行查询，适合1万条以下的小规模数据集。否 retrieval_distance_method VARCHAR 向量检索的距离函数。取值如下：IP...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
典型使用场景
实时计算-HBase增强版（Lindorm）+Blink/Spark 基于数据的应用，如算法、智能运营、监控大屏等系统。通常需要实时获取业务系统产生的数据，基于数据更新进行实时计算。HBase具有高吞吐，低延迟，schemaFree，水平扩展等能力，被很多大数据...
功能特性
使用可视化大屏查看分析报告 预置算法组件库 支持数据源、数据预处理、特征工程、统计分析、机器学习、时间序列、推荐算法、异常检测、自然语言处理、网络分析、金融板块、视觉算法、语音算法、自定义算法等上百种PAI内置算法组件，开箱即...
PolarDB MySQL版DDL操作指南
DDL执行算法 PolarDB MySQL版 支持以下三种DDL执行算法：INSTANT算法：使用INSTANT算法执行DDL操作时，只需要修改数据字典中的元数据，不需要修改或复制存量数据，也不需要重建表。因此其不受表的大小影响，整个DDL过程可以秒级完成。...
Vector
HNSW：采用HNSW图结构构建整个索引，并通过该算法进行查询，适合大规模的数据集。distance_method：计算向量距离函数，取值如下：L2：平方欧氏距离。IP：向量内积，距离值为 1-向量内积。COSINE：余弦距离，距离值为 1-向量余弦值。使用...
时序引擎版本说明
修复Lindorm ML时序异常检测ostl-ttest算法和ostl-esd在数据量较大时会报错的问题。优化Lindorm ML时序异常检测性能。3.4.22 发布日期 类型 说明 2022年11月22日 新特性 降采样SQL查询支持前置值（单值）过滤。SQL支持时间线查询功能。LTS...
AdvanceEncrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
数据科学计算概述
Scikit-Learn：用于数据分析和数据挖掘任务的算法。为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及...
什么是备份数据量
与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（OSS）。综上所述，您可通过调整...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
AdvanceDecrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 CiphertextBlob bytes 是 二进制数据 待解密的密文。KeyId string 否 key...
- 产品推荐
- 这些文档可能帮助您