相关性函数
相关性算子可以计算两组数据的相关系数，用于分析这两组数据的变化趋势是否存在关联关系。相关性算子 只支持华东2（上海）地域。相关性算子支持最大数据量为1000万行。用于离线调度的相关性算子。计算两组数据的相关系数r。两组数据之间的...
相关性分析
相关性分析组件支持对历史数据进行相关性分析，计算出指定变量之间的相关系数，并绘制出相关图表。相关性分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素的相关密切程度。相关性的元素之间需要存在一定的联系或者...
数据建模
进行数据探索 相关性分析 在左侧组件列表，将 统计分析 下的 相关系数矩阵 组件拖入画布中。通过连线，将 相关系数矩阵-1 节点作为 data4ml 节点的下游节点。右键单击 相关系数矩阵-1，在快捷菜单，单击 执行该节点。待运行完成后，右键...
视频个性化推荐（协同过滤）
视频交互方式（用户行为事件/event）：“视频有曝光给用户”（expr）、“用户浏览了视频"（click）、“用户点赞了视频“（praise）实施策略 实施策略如下：相似视频挖掘（I2I）：通过用户的视频交互行为数据挖掘视频与视频之间的相关性，您...
功能介绍
云原生数据仓库AnalyticDB PostgreSQL版 支持周期性的基础备份与日志备份，可以有效防止数据丢失。功能原理 云原生数据仓库AnalyticDB PostgreSQL版 通过实例的基础备份加日志备份，可以将实例恢复至指定历史时刻，并保证分布式实例状态与...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
在工作空间创建数据源或注册集群
步骤二：将数据源绑定至数据开发（DataStudio）数据源创建完成后，若您需在当前工作空间基于该数据源执行数据开发、数据分析、或使用运维中心周期性调度运行相关任务等操作，还需将数据源绑定至当前工作空间的数据开发（DataStudio）模块。...
数据风险点监控
离线数据风险点监控 数据准确性 数据准确性是数据质量的关键，也是所有离线系统加工时的第一保障要素，详情请参见 概述。下面为您介绍使用DataWorks的数据质量（DQC）保障MaxCompute离线数据的准确性。说明 执行数据质量需使用DataWorks...
调优集群性能
您可以在控制台对比CPU使用率和Build任务数的监控数据，可以较容易发现两个指标间的相关性。说明 关于Build的介绍请参考 BUILD。如何定位和分析Build导致的资源水位增高的问题，请参见 Build任务数增多。CPU最大使用率倾斜 CPU最大使用率...
概述
但RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库的计算能力有限，如果直接使用RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库搭建数据仓库，会占用线上业务的计算资源从而会影响业务的运行。如果使用自建开源大数据生态体系，例如...
敏感数据审计
您可以选择功能模块、时间范围，输入用户名、数据库名、表名、列名等维度的敏感数据相关信息，单击 搜索，搜索审计日志。说明 产品默认展示近1天的敏感数据审计日志。在审计列表中，您可以查看每个工单或任务的操作人员、所属功能模块、...
什么是边缘网络加速
产品优势 安全性 通信数据通过为企业搭建专用通道传输，不经公网，不担心私密数据被窃取。高速互通 多个分支直接进行内网通信，延迟低。快速接入 快速搭建连接企业自有网络与阿里云POP接入网关的专用通道，施工周期对比传统端到端接入方式...
可视分析创作间和传统BI软件差异比较
预定义的报告 需要行业数据经验专家，搭建数据报表 分析过程需要理解：维度、度量、数据类型等统计知识 可视化数据的图表配置也需要专业数据分析人员支持 支持二次分析 不支持二次分析 数据分析结果 数据集产生的所有见解，提炼在数据...
内置检测模型说明
数据安全中心DSC（Data Security Center）通过内置的行为异常自学习模型和流转异常自学习模型，能够高效地分析审计日志，以识别与敏感数据相关的异常行为及攻击行为。当这些模型检测到潜在的风险活动时，会自动触发告警。支持的数据库 RDS...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
质量规则模板类型
数据源模板类型 模板分类 模板说明 稳定性 数据源连通性监测 用于对数据源的连通性进行监控。表结构异动监测 用于对表的元数据变动进行监控。实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计...
质量规则模板类型
数据源模板类型 模板分类 模板说明 稳定性 数据源连通性监测 用于对数据源的连通性进行监控。表结构异动监测 用于对表的元数据变动进行监控。实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计...
设置白名单
您需要设置白名单后才能获取图数据库GDB的连接地址。本教程将指导您如何设置白名单。前提条件 已根据快速入门完成创建实例步骤，具体操作，...相关文档 更多关于数据安全性的设置操作，请参见 设置白名单 和 设置安全组。下一步 上传数据至OSS
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
SQL Server数据源
上述是在SQL Server Reader单线程模型下数据同步一致性的特性，SQL Server Reader可以根据您配置的信息使用并发数据抽取，因此不能严格保证数据一致性。当SQL Server Reader根据splitPk进行数据切分后，会先后启动多个并发任务完成数据同步...
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
深度解析Lindorm搜索索引（SearchIndex）特性
支持文本字段的分词检索，返回相关性较高的结果数据。统计聚合。按照某个字段进行聚类统计，求取sum/max/min/avg等，或者返回去重后的结果集。模糊查询。查询以'阿里'开头的数据，可以匹配出'阿里云'的结果集，类似MySQL的like语法。诸如...
准备工作
本文为您介绍在使用空白画布搭建数据看板前，需要完成的准备工作。准备内容 已开通DataV服务。已确定最终效果图样式。已根据效果图计算出需要添加的组件名称和数量。开通DataV服务 请参见 开通DataV服务。数据看板-最终效果图 数据看板-...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
入门概述
项目主要由项目成员、数据库、工单组成，项目成员通过 SQL 窗口或者提交工单的方式操作拥有相关数据库访问权限的数据库，工单提交后根据该数据库环境对应的管控策略由指定的项目组成员审批或者免审批，完成一次数据库操作。5 项目中添加...
数据源白名单配置
为确保数据库访问的安全性，阿里云数据库相关产品通常情况存在IP白名单访问限制。若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
产品计费
本文介绍 数据库自治服务DAS 不同版本的费用、到期、欠费以及续费说明。...相关文档 DAS经济版介绍 DAS企业版介绍 管理DAS经济版和企业版 取消使用DAS经济版和企业版 DAS企业版间支持数据迁移，详情请参见 DAS企业版间数据如何迁移？
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
元数据采集
支持的数据源及元数据采集方式 数据源类型 元数据采集方式 是否能在数据地图中看到采集器 元数据更新时效性 数据表/字段 分区 数据血缘 MaxCompute 数据开发-绑定数据源 自动启动采集 否 普通项目：实时 外部项目：T+1 国内地域：实时 海外...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
创建并使用MaxCompute表
层级用于定义和管理数据仓库分层，通常可划分为数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）、应用数据层ADS（Application ...
迁移时源库为MySQL的注意事项及限制
如果迁移的源数据库类型为MySQL，如自建MySQL、RDS MySQL，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为MySQL的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：MySQL间...
云数据库MongoDB与自建数据库对比优势
与自建MongoDB数据库相比，云数据库MongoDB版（ApsaraDB for MongoDB）在服务可用性、数据可靠性、安全性、运维成本等方面具有极大优势。使用云数据库MongoDB版可帮助您快速上线业务、降低运维成本。对比项 云数据库MongoDB 自建数据库 ...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
- 产品推荐
- 这些文档可能帮助您