功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
Serverless模式批量删除或更新数据性能测试
批量执行DELETE和UPDATE时，Serverless模式实例比存储弹性模式实例执行速度快3~20倍，批量执行的数据量越大，性能差异越明显。原因：批量执行DELETE和UPDATE是根据ORDER BY进行筛选的，Serverless模式实例的表采用了行列混存加ORDER BY的...
系统运算符（2.0版）
逻辑运算符 运算符 描述 例子 AND a和b两者都为true则返回True a AND b OR a或b有一个为true就返回True a OR b NOT a为false则返回True NOT a Null值对逻辑运算符的影响 当运算符AND的输入中包含FALSE时必然返回FALSE，否则如果输入中包含...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
版本发布说明
发布日期：2023-11-22 大版本：V5.4.18 小版本：17004745 类别 说明 新增&优化 优化AUTO模式数据库中表数据量较大时创建表的效率。新增plan_cache视图返回默认库下的执行计划。优化AUTO模式数据库中并发建表的效率。缺陷修复 修复 alter ...
创建AnalyticDB for MySQL3.0数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力，您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源，或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...
创建AnalyticDB for PostgreSQL数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力，您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源，或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...
比较运算符
比较运算符用于判断参数的大小关系，适用于任意可比较的数据类型（double、bigint、varchar、timestamp和date）。本文介绍比较运算符的基本语法以及示例。日志服务支持如下比较运算符。重要 在日志服务分析语句中，表示字符串的字符必须...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
画像分析-RoaringBitmap优化方案
标签数据分类 在介绍Bitmap计算方案之前，我们需要区分画像系统中常用的两类标签数据，针对这两类数据的计算模式大相径庭，我们需要依据数据模型和运算模式将合理的部分转化为Bitmap格式存储。属性标签：主要描述用户的属性情况，例如用户...
变更管控模式
当您的业务需要导出的数据量较大，且当前实例的管控模式不能满足需求时，或业务需要查找较长时间段内数据库在SQL窗口变更的相关信息时，可以变更实例的管控模式。前提条件 系统角色为DBA或管理员时，才可以变更实例的管控模式。注意事项 ...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
MetaQ数据源
DataWorks数据集成支持使用MetaQ Reader读取消息队列Message Queue（简称MQ）的数据，本文为您介绍DataWorks的MetaQ数据读取能力。支持的版本 MetaQ Reader通过消息队列服务的Java SDK订阅MetaQ中的实时消息数据，使用的Java SDK版本如下所...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
客户案例
千寻位置基于卫星系统（兼容GPS、GLONASS、Galileo）定位数据，利用遍及全国的超过2400个地基增强站及自主研发的定位算法，通过互联网技术进行大数据运算，为遍布全国的用户提供精准定位及延展服务。客户诉求 提升计算精准度及速度，满足...
查询和修改数据复制方式
本文介绍如何查询和修改RDS PostgreSQL实例的数据复制方式，提高云数据库性能或可用性。前提条件 实例为PostgreSQL高可用系列（云盘）。如需修改 数据复制方式 为 半同步，则需要实例内核版本为20220228及以上版本。如何升级内核小版本，请...
概述
因此，在这种模式下大部分应用会选择牺牲一定的数据一致性。为了面向在线业务场景构建一套完整的数据库+缓存的解决方案，实现对在线业务场景的数据访问、存储和加速，为客户提供一站式的解决方案，PolarDB MySQL版 推出了数据与缓存一站式...
Maxgraph数据源
DataWorks数据集成支持使用Maxgraph Writer导入MaxCompute表数据至Maxgraph，本文为您介绍DataWorks的Maxgraph数据写入能力。使用限制 当前仅支持使用脚本模式将数据写入Maxgraph。当前主要应用场景为同步MaxCompute数据至Maxgraph。数据...
跨境SaaS:深圳市易仓科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳市...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
列存索引技术架构介绍
MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行...
创建Hologres内部表
该模式存储开销及内部数据状态同步的开销更大。说明 更多存储格式的详细介绍，请参见 建表概述 的 orientation 参数说明。生命周期 表的生命周期，单位为秒。默认表的生命周期为永久。说明 从数据首次写入表的时间开始计算，当到达生命周期...
DataWorks产品安全能力介绍
基线配置检查 在DataWorks工作空间与绑定的数据源在数据传输、存储、运算等过程中，提供与身份认证、访问权限控制、开发模式等功能相关的配置检查能力，帮助您及时发现平台的安全隐患，在进行相关工作事务前快速建立基本的安全体系。...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
SmartData常见问题
JindoFS缓存模式和Block模式可以利用集群本地磁盘或内存来缓存数据，对于新写入的数据和重复读取的数据具有显著加速效果。在同样集群条件下，对于Spark或Hive分析计算，跟HDFS相比集群吞吐是相当的，甚至优于HDFS。JindoFS写性能如何？因为...
基本概念
栅格数据（Raster Data）是将地理空间分割成有规律的网格，每一个网格称为一个单元（像元或像素），并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题数据：每个栅格像...
概述
OceanBase MySQL 模式兼容 MySQL 的大部分数据类型，详见 OceanBase MySQL 数据类型概述。由于 OB MySQL 的 DDL 语法与 MySQL DDL 语法存在一定的差异性，即 OB MySQL 有部分特有的拓展语法，这部分 DDL 语法可能无法解析。说明 不支持 OB ...
数据科学计算概述
背景信息 Python作为目前机器学习、AI模型开发的主流编程语言，提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库，用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...
平台安全诊断
DataWorks的平台安全诊断，为您提供了当前DataWorks工作空间与绑定的引擎在数据传输、存储、运算等过程中，与身份认证、访问权限控制、开发模式等功能相关的安全能力，以及诊断相关安全问题的最佳实践，帮助您及时发现平台的安全隐患，在...
添加白名单
保障资源组与数据源之间网络连通后，您还需保障资源组与数据源之间不会因为白名单的限制而无法进行数据访问，例如，部分数据源设置白名单后会不允许白名单外的IP访问，您需要将资源组的IP添加至数据源的白名单中。本文为您介绍白名单相关...
图扑案例
厦门图扑软件联手 云原生多模数据库 Lindorm 开启工业物联超融合存储模式，应用于工业、制造、楼宇建筑、航空与航天行业。业务/技术亮点 百PB级海量多源异构监控数据一站存储。每秒高吞吐量轻松应对监控指标高并发写入。多模数据检索引擎...
产品系列
资源分离：弹性模式下，CPU和内存资源被分为计算资源和数据资源，计算资源用于数据处理和计算统计运算；数据资源用于数据写入和查询时的数据读取。支持单独购买计算资源和数据资源，方便您深入分析资源瓶颈，精确扩缩容，降低成本。哪些...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
资产大盘
数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的 表分布占比 ...
使用DMS数据追踪进行恢复
数据追踪与其他恢复方案的区别 恢复方案 恢复原理 费用 恢复速度 恢复范围 数据追踪 按需追踪到目标时间段内的相关更新，汇总生成逆向的回滚语句，并通过 数据变更 工单最终执行到数据库中完成数据的恢复。管控模式为自由操作，无费用。...
数据可视化概览
仪表盘和大屏是图表的组合布局，支持快速分析和自由可视化这两类主流场景，以满足大部分的数据可视化需求。场景支持 安全自助式数据分析 基于DMS安全管控底座，确保可视化所用的数据均经过授权访问。一次配置即可实现可视组件高级过滤、...
自动化治理-物化视图
当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，DataWorks能够自动识别和分类MaxCompute中的相似子查询，并生成物化...
功能和优势
集成程度高 目前Prometheus对接第三方存储系统的主流做法是实现一个独立于第三方存储系统的remote storage adapter,这个adapter需要单独部署和运维，另外单独部署的remote storage adapter还存在单点故障和读写性能问题。TSDB for ...
SQL其他常见问题
本文为您介绍在MaxCompute中执行SQL时，与数据类型、SQL限制等相关的常见问题。问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合...
- 产品推荐
- 这些文档可能帮助您