文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
分析概述
Lambda表达式 逻辑运算符 空间几何函数 地理函数 机器学习函数 窗口函数 电话号码函数 机器学习函数 平滑函数 多周期估计函数 变点检测函数 极大值检测函数 预测与异常检测函数 序列分解函数 时序聚类函数 频繁模式统计函数 差异模式统计...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
PolarDB PostgreSQL 14版相对于PolarDB PostgreSQL 11...
这个副作用是，name列上的正则表达式运算符现在默认使用 C 排序规则，而不是数据库的排序规则，以确定与区域相关的正则表达式模式（例如 \w）的行为。如果想在name列上的正则表达式中使用非 C 行为，请附加一个明确的 COLLATE 子句。（对于...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
Alibaba Blink实时模式资源自定义
实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，以Native K8s的...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Alibaba Blink实时模式资源自定义
实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，以Native K8s的...
2021年
MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，极大的扩展了湖仓一体对接Hadoop的...
内置时空数据引擎Ganos
相比传统需要跨库信息提取再汇总，在性能及程序开发效率上都有大幅度的提高，为用户应对5G、卫星遥感、行业时空大数据、智慧城市建设等提供云化和多结构、多模式的信息服务支撑。PolarDB PostgreSQL版（兼容Oracle）Ganos当前版本提供了...
数字翻牌器
数据面板（默认模式）说明 组件数据面板默认是 默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
实例选型和集群规划
云原生数据仓库AnalyticDB PostgreSQL版 经过多次产品迭代升级，当前主流实例资源类型为存储弹性模式和Serverless模式。在购买实例时，根据本文选择合适的规格和存储空间，可以获得更好的业务体验。为了减少实例配置选型的复杂度，存储弹性...
列存索引中GroupJoin算子的实现
本文介绍了 PolarDB IMCI中GroupJoin算子的一些限制条件和实现方式，以及其他数据的一些相关实现。阅读本文前请先了解基础的HASH JOIN与HASH GROUP BY算法。背景 SELECT key1,SUM(sales)as total_sales FROM fact_table LEFT JOIN ...
数据膨胀、倾斜与索引统计
AnalyticDB PostgreSQL版 诊断与优化功能新增了关键指标页，用于查看数据膨胀、数据倾斜和索引使用统计信息。前提条件 实例资源类型为存储弹性模式，且内核版本为V6.3.10.1及以上版本。如何查看和升级内核小版本，请参见 查看内核小版本 和...
SELECT
查询数据流表中的符合条件的列的数据。语法 SELECT setQuantifier selectItem(',' selectItem)*(FROM relation(',' relation)*)(WINDOW windowExpression)(WHERE where=booleanExpression)(GROUP BY groupBy);selectItem 说明 参数值 说明 ...
用户画像分析概述
Bit-sliced Index优化方案 基于BSI（Bit-sliced Index）的超大规模画像分析，适合用户属性标签（性别、省份）与用户行为标签（PV、订单金额等）关联分析的场景，对高基数（去重值数量大）的行为标签计算有显著优化作用。通过BSI和Roaring ...
全局搜索
数据管理DMS 的全局搜索功能支持便捷、快速地搜索您在 DMS 管理的实例、数据库和表，以及 DMS 的功能，同时，还可以查看当前租户下所有用户提交的工单。本文介绍如何使用全局搜索功能。注意事项 当在全局搜索框搜索表时，需要保证其所属的...
索引类型
本数据库提供了多种索引类型：B-tree、Hash、GiST、SP-GiST、GIN和BRIN。每一种索引类型使用了一种不同的算法来适应不同类型的查询。默认情况下，CREATE INDEX 命令创建适合于大部分情况的B-tree索引。B-tree B-tree可以在可排序数据上的...
2022年
2022年03月03日（V1.0.0.0）类别 功能 功能描述 相关文档 新增 数据共享 AnalyticDB PostgreSQL版Serverless模式 提供了数据共享功能，采用一存多读的使用模式，打破了传统数仓之间数据互访需要先导出导入再访问的孤岛，简化操作，提高效率...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
Hive兼容数据类型版本
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
数据服务
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
选择付费方式
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
必读：简单模式和标准模式的区别
为方便不同安全管控要求的用户生产数据，DataWorks为您提供简单模式和标准模式两种工作空间模式。本文从简单模式工作空间与标准模式工作空间物理形态、对开发行为的影响等多个维度为您介绍两种模式工作空间的区别。背景信息 本文内容由以下...
什么是EMR Serverless StarRocks
EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多增强功能与服务优势。StarRocks...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
Paimon概述
支持在流模式与批模式下读写大规模数据集。支持分钟级到秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据，可作为传统数仓与流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
MongoDB 7.0新特性概览
本文介绍 云数据库 MongoDB 版 7.0版本推出的新特性和优化项。速览 本文将从以下方面介绍 云数据库 MongoDB 版 7.0版本：新特性 可查询加密（Queryable Encryption）支持分片元数据一致性校验 支持采样查询与分析分片键（analyzeShardKey）...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
新建函数
概述 函数是在数据库内定义的子程序，可以从内置 SQL 语句中调用函数。如果自带的函数不能满足业务需求，则可以通过 ODC 新建函数，添加自定义函数，以实现某些功能运算和完成各种特定操作，且自定义函数可以减少重复编码，提高程序可读性...
文档更新动态（2022年）
更新说明 创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、管理FTP组件、配置脚本模式输入组件 2022年10月25日 资产权限新增权限审计模块 可以对自己的权限进行审计。新增说明 权限操作审计 2022年10月25日 ...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
调整实例sql_mode参数
对于数据更改操作（INSERT、UPDATE），其效果还取决于是否启用了严格的SQL模式（strict SQL mode)：如果未启用该模式，则除以零会插入 NULL 并不会产生警告。如果启用了该模式，则除以零会插入NULL并产生警告。如果启用了该模式和严格的SQL...
- 产品推荐
- 这些文档可能帮助您