产品架构
尽管存算一体架构在查询性能上具有显著优势，但也存在一些局限性：成本高：为了确保数据的可靠性，BE节点必须使用多副本，特别是三副本机制，这随着数据量的增加会导致存储资源的持续扩充，可能会造成计算资源的浪费。架构复杂：多副本的...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
新增授权
选择授权资源 授权方式：目前仅支持资源授权，资源授权指对数据目录、数据库、数据表、数据列、函数这类资源进行数据权限配置。资源类型：可选数据目录、数据库、数据表、数据列、函数。选择资源实体，可以进行模糊搜索，找到您想授权的库/...
锦鲤翻牌器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Logtail发布历史
1.8.4 发布时间：2024.01.04 优化 goprofile插件上报数据中使用机器的IP地址 修复 修复正则配置time_key没有默认设置为time的兼容性问题 修复使用libcurl因没有设置CURLOPT_NOSIGNAL导致偶尔崩溃的问题 修复原生分隔符解析插件解析行首有...
MaxCompute近实时增全量一体化架构介绍
数据自动治理优化 存在的问题 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，尤其是桶数量较大的情况，从而引发存储访问压力大、成本高，数据读写I/O效率低下等问题。如果Update和...
Kafka增量数据同步至MaxCompute
在上述配置数据来源与数据去向时，使用了三个调度参数：${startTime}、${endTime} 和${partition}，在此处调度配置中需根据实际同步需求指定这三个调度参数的替换策略，以下为几个典型场景的配置示例。典型场景 推荐配置 场景示例说明 同步...
Kafka增量数据同步至MaxCompute
在上述配置数据来源与数据去向时，使用了三个调度参数：${startTime}、${endTime} 和${partition}，在此处调度配置中需根据实际同步需求指定这三个调度参数的替换策略，以下为几个典型场景的配置示例。典型场景 推荐配置 场景示例说明 同步...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
数据服务入门
详情请参见 配置数据源。本文示例创建MySQL类型的数据源。背景信息 DataWorks数据服务作为数据库和数据应用之间的桥梁，旨在为个人、团队及企业提供全面的数据服务及共享能力，帮助用户统一管理面向阿里云内外部的API服务。数据服务已与API...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
更新说明
组件动画 组件可以配置动画效果 虚拟键盘 针对HMI屏等移动设备的虚拟键盘输入功能 直接配置数据源功能下线 为拖入画布的组件绑定配置数据源时，需从自变量中选择 变量接入Nats、kafka数据源 变量支持来自Nats、kafka的数据 虚拟变量 复合...
新功能发布记录
04-15 下载备份 RDS PostgreSQL CSV或SQL文件恢复到自建数据库 03月 类别 功能名称 功能描述 发布时间 相关文档 优化 升级数据库大版本 RDS PostgreSQL Serverless实例支持升级数据库大版本。03-21 升级数据库大版本 新增 内核版本发布 ...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
SQL审核
数据管理DMS 的SQL审核功能，支持对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。前提条件 数据库类型如下：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL版、其他来源MySQL。RDS MariaDB。...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
表数据格式
此外还可设定其他一些重要的表属性，比如 write.bucket.num 用来配置数据写入的并发度，acid.data.retain.hours 用来配置历史数据的有效查询时间范围等。更多属性可参见 Transaction Table2.0表参数。Transaction Table2.0数据文件类型 ...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）购买指引、计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据源：可支持的数据源类型和版本拓展，优化数据源配置交互 新建数据源页面支持分类展示数据源类型，同时增加...
功能特性
SQL变更规则 变更规范 支持配置数据库变更规范，通过配置规则来规范数据库变更操作，如SQL变更规则、变更风险识别规则、风险审批规则等。SQL变更规则 用数规范 支持配置数据使用规范，通过配置规则来规范数据的使用，例如数据导出规则、...
算子级别诊断结果
扫描算子读取字段个数较多 问题 扫描算子会在 AnalyticDB MySQL版 的存储层进行数据的过滤和明细数据的读取，如果SELECT的字段个数较多，需要读取的明细数据也较多，那么就会占用较大的磁盘I/O资源，影响 AnalyticDB MySQL版 集群整体稳定...
离线同步并发和限流之间的关系
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
MySQL分库分表同步至MaxCompute
自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，简化大部分配置操作。如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以...
MySQL分库分表同步至MaxCompute
自动生成逻辑表的功能，可以大大简化逻辑表的配置步骤，一般情况下，我们都可以使用自动生成逻辑表来扫描源端数据源，简化大部分配置操作。如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以...
应用场景
当您在使用大规模资源时，配置审计服务可以帮助您自动监管资源配置的合规性。配置审计服务可以在以下场景帮助您监管资源。集中管理和跟踪资源配置 管理不同云产品跨地域部署的资源时非常不便，配置审计高效的对云产品各地域的资源进行了...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
一键实时同步至Hologres
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
后续指引
介绍：安全参数列表 数据保护机制 动态脱敏 备份与恢复 存储加密 常见问题：安全配置常见问题 运维管理 资源、作业管理 MaxCompute提供元数据、作业运维及资源观测工具，方便您精细化管理作业和资源。介绍：Information Schema 作业运维...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
一键实时同步至AnalyticDB for MySQL 3.0
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
检测多账号的资源合规性
重要 开通日志服务SLS不收费，配置审计将资源数据投递到日志服务SLS，并使用其查询和分析功能需要收费。具体计费标准，请参见 计费概述。背景信息 管理账号可以在配置审计中查看所有成员的资源列表、资源配置变更历史和资源合规状态，并...
一键实时同步至DataHub
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
新功能发布记录
03-22 实例变更项概览 优化 极速库表恢复 RDS MySQL在极速库表恢复功能的基础上，新增支持了极速库表5min恢复的特性，恢复速度与数据量无关，无论数据量多大均可在5分钟内全部恢复。说明 当前极速库表5min恢复功能正在公测中，您可加入钉钉...
数据风险点监控
因此，您需要评估是否要购买包年包月资源，同时对任务进行优化，减少不必要的资源浪费，实现在有限的资源下高效完成计算。任务报警 任务报警和优先级类似，通过DataWorks的智能监控工具进行配置，只需要配置叶子节点即可向上游传递报警配置...
一键实时同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
- 产品推荐
- 这些文档可能帮助您