进入数据质量概览（旧版）
数据质量概览页面为您展示订阅数据的报警以及任务的阻塞情况。查看数据质量概览 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
线热力层（v1.x版本）
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v1.x版本的线热力层子...
某手游开发公司在离线一体分析方案
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
线热力层（v2.x版本）
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v2.x版本的线热力层子...
数据服务系统配置
运维监控统计数据可帮助您查看最近某段时间的API运维数据，以便您更好的调整API，合理优化资源。本文为您介绍如何自定义运维监控配置。权限说明 超级管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页，单击顶部菜单栏 服务。...
资源密集活动统计（pg_profile）
RDS PostgreSQL支持使用pg_profile插件来统计数据库中资源密集型活动，用于分析优化数据库。插件简介 此扩展基于PostgreSQL的统计视图（pg_stat_statements）和社区插件（pg_stat_kcache），完全使用PL/pgSQL编写，无需任何外部库或软件，...
数据同步
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。前提条件 已根据快速入门教程...
数据风险点监控
本文为您介绍在线数据风险点监控和离线数据风险点监控。在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请...
查看计量大屏
数据服务提供了计量大屏功能，您可以通过该功能查看各类可视化图表和统计数据，包括工作空间下的API总数、总调用次数以及总执行时长用量等信息，帮助您全面了解API的调用情况。同时，您也可以针对单个API查看监控图表，获取API网关状态码、...
数据处理
数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、ORC等多种数据格式的解析）。在 数据解析器 页面，选择导入数据对应的 解析器、分离、列标题 和 选项。单击 解析 以生成...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
查看系统审计到的语句
将数据库接入数据库审计系统后，您可以通过云盾数据库审计系统，查看系统审计到的SQL语句。本文为您介绍如何查看数据库审计系统审计到的SQL语句。操作步骤 登录 云盾数据库审计管理控制台。在左侧导航栏，单击 A100实例。在 A100实例 页面...
TSDB全量迁移至时序引擎
TSDB基础版 II（规格为4核 8 GB，数量为2个），测试项和数据如下表：测试次数 数据量 任务进程数 配置 时间线文件大小 每秒迁移的数据点数 迁移用时 TSDB资源消耗 1 总时间线数据为3万 总数据点数为86400000 1 channel:2 oidCache:true ...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
导入MongoDB数据
注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，并且不涉及数据的变换。说明 如果迁移过程中需要对某些数据进行处理，例如对MongoDB数据中主键进行MD5散列，需要按照如下步骤操作：通过...
产品优势
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
拓展组件
该图元的主要特征：一条弧线对应一个线数据，且线仅包含两个点，对应起点和终点。线具有流动动画，且具有方向性，动画配置项中的速度的正负可控制方向。飞线线型有“矢量”和“贴图”两种，“矢量”型由基线叠加高亮线组成，无需贴图；...
统计信息
本文介绍 云数据库 SelectDB 版 中手动记录统计信息或者自动收集统计信息，为您进行查询性能优化提供参考。概述 云数据库 SelectDB 版 支持手动记录统计信息或者自动收集统计信息。收集统计信息有助于优化器了解数据分布特性。在进行基于...
离线数据加工卡点
离线数据加工卡点，主要指在业务系统的数据生成过程中进行的卡点校验。代码提交的卡点校验 代码提交卡点主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期...
离线同步读取MongoDB数据
DataWorks的数据集成为您提供MongoDB Reader插件，可从MongoDB中读取数据，并将数据同步至其他数据源。本文以一个具体的示例，为您演示如何通过数据集成将MongoDB的数据离线同步至MaxCompute。背景信息 本实践的来源数据源为MongoDB，去向...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
时延洞察
CloudDBA的时延洞察功能可以对 云原生内存数据库Tair 数据库所有命令以及自定义特殊事件进行时延统计，并给出精确到微秒级别的延迟时间。您可以通过该功能排查 Tair 数据库的故障和性能降低的原因。功能简介 原生Redis在2.8.13版引入时延...
新建统计周期
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。完成计算引擎类型设置，详情请参见 设置Dataphin实例的计算引擎...
时延洞察
在排查Redis数据库实例的故障和性能降低的原因时，您可以通过时延洞察功能，对数据库所有命令以及自定义特殊事件进行时延统计，得到精确到微秒级别的延迟时间，从事件、时间、时延三个维度对实例进行分析，快速定位和修复故障。前提条件 ...
新建统计周期
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 仅支持 智能研发版。若需使用，当前租户还需开通智能研发模块。完成计算引擎类型设置，详情请参见 设置计算引擎为Hadoop 设置Dataphin...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
时延洞察
CloudDBA的时延洞察功能可以对Redis数据库所有命令以及自定义特殊事件进行时延统计，并给出精确到微秒级别的延迟时间。您可以通过该功能排查Redis数据库的故障和性能降低的原因。功能简介 原生Redis在2.8.13版引入时延监控（Latency ...
按照SQL ID异步统计全量请求数据
调用GetFullRequestStatResultByInstanceId接口，按照SQL ID异步统计数据库实例SQL洞察结果中的全量请求数据。接口说明 说明 异步调用后不会立即返回完整结果，当返回数据中 isFinish 取值为 false 时，请等待 1s 后重新发起调用，直到 ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
购买指引-全托管
api.s2.large（最大10000 QPS）敏捷研发版（离线）暂不支持 标签工厂 版本 管控项 智能研发版（离线&实时）、基础研发版（离线&实时）试用版：离线标签5个、离线视图、行为关系、标签市场、标签离线服务、应用管理 基础版：离线标签50个、...
SQL洞察
注意事项 SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长最长为90天：如果对应实例DAS 企业版 设置的存储时长小于等于90天，则SQL洞察功能中分析和统计数据（不包括SQL明细数据）的存储时长以DAS 企业版 设置的存储时长为准...
安全基线检查
数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全，这些检查策略和检查项统称为安全基线检查。安全基线检查功能可以帮...
- 产品推荐
- 这些文档可能帮助您