数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
审批中心概述
自定义审批策略后，后续进行表权限申请与审批、数据服务权限申请与审批、数据集成任务保存时，流程如 表字段权限申请与审批流程、数据服务权限申请与审批流、数据集成任务审批流程、扩展程序审批流程 所示。表字段权限申请与审批流程 在 ...
创建安全规则
安全规则是通过一组领域专用语言DSL（Domain Specific Language）对数据库实现精细化管控的规则集合，您在使用DMS的查询、导出、变更等功能时，可以通过安全规则管控这些功能行为，从而在平台内制定和打造数据库的操作规范和研发流程。...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
A/B Test
白名单：为了将特定flow_divider指定到特定的实验，从而方便查看特定实验的搜索效果，opensearch提供白名单功能，可将flow_divider添加到特定的实验：三、A/B Test 实验组详情 行为数据状态 当您成功创建实验组之后，进入实验组详情页，...
数据服务：低成本快速发布API
DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为企业提供全面的数据共享能力，帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述 作为数据仓库与上层应用系统间的...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
概述
数据内容安全管理 安全中心提供的数据分级分类、敏感数据识别、数据访问审计、数据源可追溯等功能，在处理业务流程的过程中，能够快速及时识别存在安全隐患的数据，保障了数据内容的安全可靠，详情请参见 数据保护伞。安全诊断的最佳实践 ...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
应用场景
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
InstanceTunnel
此行为与使用Restful API获取查询数据的行为一致。使用InstanceTunnel下载数据时，如果数据条数超过10000，则需要对Instance上的SQL查询语句中涉及到的所有源表进行权限检查，用户需要具有所有源表的Read权限才可使用。如果用户访问的...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
视频个性化推荐（协同过滤）
视频交互方式（用户行为事件/event）：“视频有曝光给用户”（expr）、“用户浏览了视频"（click）、“用户点赞了视频“（praise）实施策略 实施策略如下：相似视频挖掘（I2I）：通过用户的视频交互行为数据挖掘视频与视频之间的相关性，您...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
支持的数据源
AnalyticDB for MySQL 支持导入RDS MySQL、MongoDB、OSS、MaxCompute、Kafka等多种数据源至数据仓库或数据湖中，各数据源支持的导入方案也不同，您可以参考本文档，选择合适的导入方案。数据入仓 类别 数据源 导入方式 产品系列 文档链接 ...
主备方案介绍
云数据库HBase存储海量大数据，在业务场景中往往承载着重要数据，为保障数据的高可用性和安全性，云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活：大数据量随机读响应...
常见问题
产品选型 阿里云数据库 SelectDB 版与自建 Apache Doris 数据库对比，有哪些优势？计费 为什么包年包月实例还会产生后付费账单？应用场景 云数据库 SelectDB 版可以应用在哪些场景？阿里云数据库 SelectDB 版与自建 Apache Doris 数据库...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
产品架构
其基于数据自动分区+分区多副本+LSM的架构思想，具备全局二级索引、多维检索、动态列、TTL等查询处理能力，支持单表百万亿行规模、高并发、毫秒级响应、跨机房强一致容灾，高效满足业务大规模数据的在线存储与查询需求。面向海量半结构化、...
存储引擎
外表OSS存储：数据可远端低成本存储于OSS上，查询和写入行为与本地表完全一致。数据分区：支持数据多级分区，且可按Value或范围进行分区，常用场景为按时间进行分区，可明显降低IO数据量，同时分区支持混合存储，历史数据和活跃数据可分层...
行业算法模型介绍
重要 算法实验功能仅对标准版实例开放。智能推荐根据不同的行业提供了归档的如下几类算法模型，您可以通过在线实验平台的实验参数配置针对性的进行开启或关闭以及具体算法子类型的优化。一、基于物品的协同过滤算法 协同过滤算法主要分为...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
云数据库ClickHouse企业版兼容性指导
企业版架构 云数据库 ClickHouse 企业版 极大地简化了运营开销，并降低了大规模运行ClickHouse的成本。您不需要提前部署集群规格、设置高可用性的副本以及手动数据分片，当工作负载增加时扩展服务器或者工作负载降低时缩减服务器，这些都是...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
SQL Server数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 SQL Server在数据存储划分中属于RDBMS系统，对外可以...
发现和处理异常告警
这些模型可以有效识别与敏感数据相关的异常行为并上报告警。本文介绍如何查看并处理异常风险告警。检测模型说明 DSC默认开启所有的内置检测模型，您也可以根据业务和安全策略需要管理内置检测模型或自定义检测模型。在 异常告警 页面右上角...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时，推荐...
什么是云数据库SelectDB版
用户画像与行为分析 基于 云数据库SelectDB版 建设用户CDP（数据管理平台）数仓平台分层，支持毫秒级加列以及动态表灵活应对业务变动，支持丰富的行为分析函数带来开发简化和效率提升，支持高表正交位图实现画像场景的秒级圈人。...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
- 产品推荐
- 这些文档可能帮助您