数据共享监控
您可以通过 AnalyticDB PostgreSQL版 控制台查看数据共享的Share数量以及共享的数据量。操作步骤 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。在左侧导航栏中，单击 数据共享。在 数据共享 页面...
2022年
开通或关闭实例的数据共享 数据类型 Serverless模式的数组支持VARCHAR和TIMESTAMP类型。Serverless模式 缺陷修复 修复刷新物化视图时系统不进行两阶段处理的问题。修复Multi-Master模式下无法创建DataShare的问题。修复destroy_dadi_fs语法...
数据共享SQL
实例开通数据共享后，还需要通过SQL创建共享并授权，才能实现实例间的数据共享。本文介绍 AnalyticDB PostgreSQL版Serverless模式 数据共享相关SQL操作。注意事项 源库和目标库所属的实例在同一地域下，且已加入数据共享。如何将实例加入...
数据共享
AnalyticDB PostgreSQL版Serverless模式 提供了数据共享功能...返回信息如下：a|b|c|d-+-+-+-1|1|1|1 2|2|2|2 5|5|5|5 6|6|6|6 7|7|7|7 9|9|9|9 10|10|10|10 3|3|3|3 4|4|4|4 8|8|8|8(10 rows)相关文档 开通或关闭实例的数据共享 数据共享SQL
Serverless模式
数据共享（Beta）相比较传统数仓共享数据使用的数据导入导出方式，Serverless模式的数据共享具有如下优点：存储成本：无需在多个 AnalyticDB PostgreSQL版 实例间复制或移动数据。分布式存储中仅存放一份数据，不占用额外存储空间，多个...
DescribeDataSharePerformance-查看数据共享的性能...
查看数据共享的性能指标。接口说明 目前仅 Serverless 实例支持数据共享功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应...
API概览
SetDataShareInstance 将实例加入或移出数据共享 将AnalyticDB PostgreSQL版实例加入数据共享或从数据共享中移除。诊断与优化 API 标题 API概述 DescribeDBClusterPerformance 查看实例性能数据 查看AnalyticDB PostgreSQL版实例在指定时间...
2022年
开通或关闭实例的数据共享 数据共享SQL 2022年01月 功能 功能描述 相关文档 监控与报警 为了方便您观测实例的运行状态以及性能和负载情况，AnalyticDB PostgreSQL版 升级了监控与报警功能。升级后的监控与报警功能支持从以下两个方面查看...
DescribeDataShareInstances-查看数据共享详细信息
查看数据共享的状态。接口说明 目前仅 Serverless 实例支持数据共享功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
数据服务：低成本快速发布API
DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为企业提供全面的数据共享能力，帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述 作为数据仓库与上层应用系统间的...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
数据分析整体趋势
通过存储计算分离，做到两者解耦，资源池化，独立扩展，满足业务上资源隔离，数据共享的需求，是当下的架构趋势。计算分析一体化：传统数据分析方案是定期从OLTP系统抽取数据同步到OLAP系统，有些可以做到准实时同步。该方案带来的问题是...
生成数据API
实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次实验将对Hologres数据源中的挂载MaxCompute的Hologres外表（ads_ec_ec360_gmv_kpi_overview_bi）生成API。说明 ...
Hive统一元数据
数据共享。使用统一的元数据库，如果您的所有数据都存放在OSS之上，则不需要做任何元数据的迁移和重建，所有集群都是可以直接访问数据，这样每个EMR集群可以做不同的业务，但是可以很方便地实现数据的共享。创建使用统一元数据的集群 支持...
教程示例：基于Bucket Policy实现跨部门数据共享
背景信息 部门A将存储在example-bucket存储空间（Bucket）中的数据共享给部门B的用户，并允许部门B的用户下载数据。本文介绍如何以最小权限原则对共享数据进行权限控制。在本场景下两个部门的管理员、用户与共享存储空间之间的逻辑关系如下...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
独享数据服务资源组
独享数据服务资源给用户提供了专属的计算资源和环境隔离，提升企业高并发接口处理效率，助力用户实现高效敏捷的数据返回和安全稳定的数据共享。本文为您介绍独享数据服务资源组的性能指标、计费以及使用方式等相关内容。适用场景 需要支持...
客户案例
数据管理权责不明，缺乏数据治理，没有有效的数据共享机制。客户需求 通过DataWorks+MaxCompute搭建数据中台，打破数据孤岛。通过Realtime Compute+MaxCompute交互式分析（Hologres）提升数据中台实时性。通过DataWorks进行全链路数据治理...
开通指南
LindormDFS存储容量在同一Lindorm实例内共享，同时LindormDFS也是多模引擎数据的共享存储，关于多模引擎数据存放路径的详细信息，请参见 LindormDFS目录结构说明。控制台开通 警告 开通文件存储服务后，多模引擎数据变为可见。使用文件引擎...
SQL结果集导出
该实例下的数据库包含您待导出的数据。录入实例的具体操作，请参见 云数据库录入、他云/自建数据库录入。注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。...
技术面临的挑战与革新
新增加的节点，直接访问共享的数据副本，不需要做任何数据拷贝，所以扩充节点的耗时可以达到1分钟内，而与数据量无关。PolarDB同时内置Proxy能力，可以将负载均衡到各个节点，使得加减节点操作对业务透明。在存储层，所有用户共享一个规模...
数据水印
影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验（可选）是否跳...
使用SDK示例代码消费订阅数据
消费订阅速度变慢 无 可通过查询统计信息中的参数 DStoreRecordQueue 和 DefaultUserRecordQueue 队列的大小，分析消费数据变慢的原因。查询方式，请参见 消费数据的统计信息。如参数 DStoreRecordQueue 保持为0，则表示DTS服务器拉取数据...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
添加和管理团队共享盘
企业网盘 中的团队共享盘，是面向企业客户的内部文件数据共享解决方案。管理员为组织创建团队共享盘后，该组织内的所有用户均可使用该共享盘，不论其是否已被分配云电脑。本文介绍管理员如何添加和管理团队共享盘。前提条件 需要先购买 ...
如何处理Tair集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
如何处理Redis集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin...访问元仓共享模型 若您需要访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。具体操作，请参见 元数据仓库共享模型标准访问方式。
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
开通或关闭数据共享
开启实例的数据共享 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。在左侧导航栏中，单击 数据共享。在 数据共享实例 页面，选中需要开启数据共享的实例，单击 添加。在 添加共享实例 对话框中，...
实例规格族
实例规格族 规格族 说明 适用场景 支持的数据库 共享规格 独享被分配的内存和存储资源，与同一物理机上的其他共享规格实例共享CPU资源。通过资源复用换取CPU使用率最大化，性价比较高，享受规模红利。实例有资源争抢风险。追求高性价比，...
元数据仓库共享模型标准访问方式
若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。本文将指导您如何进行配置。操作步骤 创建元仓项目数据源。在业务租户中，将元仓项目的计算源创建为...
数据库
MessageQueueInternal 正等待其他进程被挂接到共享消息队列。MessageQueuePutMessage 正等待把协议消息写到共享消息队列。MessageQueueReceive 正等待从共享消息队列接收字节。MessageQueueSend 正等待向共享消息队列中发送字节。...
数据库
MessageQueueInternal 正等待其他进程被挂接到共享消息队列。MessageQueuePutMessage 正等待把协议消息写到共享消息队列。MessageQueueReceive 正等待从共享消息队列接收字节。MessageQueueSend 正等待向共享消息队列中发送字节。...
配置管理
提交数据变更时的原因分类。示例以及详情请参见 附录：数据变更原因分类。数据变更的执行方式 取值：COMMITOR：表示审批通过后由提交者执行。AUTO：表示审批通过后自动执行。LAST_AUDITOR：表示由最后一个审批人执行。审批流的审批节点是否...
引入预制模型
导入模型时将在您创建的MaxCompute项目中自动创建模型所需的数据板块、项目及计算源，因此需要您提供计算源的连接信息。由于模板导入将在计算源（MaxCompute项目）中创建表，可能造成冲突及覆盖已有表，建议使用空白的MaxCompute项目。...
数据倾斜诊断
您也可以添加过滤条件，查看指定Schema或指定表的数据倾斜情况，查询语句如下：查看指定Schema下所有表的数据倾斜情况：SELECT*FROM adbpg_toolkit.diag_skew_tables WHERE schema_name='名称>';查看指定表的数据倾斜情况：SELECT*FROM ...
数据服务入门
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
DLF+EMR之统一权限最佳实践
背景说明 元数据和数据权限是DLF产品提供的数据湖构建所需的基础能力，数据湖上引擎及产品。通过DLF提供的统一元数据视图访问湖上数据，解决湖上数据面临的元数据一致性及数据难以共享的问题，同时各引擎也可通过集成DLF统一权限服务获得...
- 产品推荐
- 这些文档可能帮助您