SQL窗口介绍
数据管理DMS的SQL窗口可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。前提条件 已具备目标库或表的查询权限。申请权限，请参见 权限管理。SQL窗口界面介绍...
功能特性
Kafka（离线与实时）Logstash（流式）支持将开源Logstash收集的日志数据写入MaxCompute。Logstash（流式）阿里云Flink（流式）支持使用Flink在高并发、高QPS场景下写入MaxCompute。阿里云Flink（流式）DataHub（实时）DataHub是MaxCompute...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
新功能发布记录
数据归档至DBS内置OSS 01月 功能名称 变更类型 功能描述 相关文档 风险审计报告 新增 支持搜集和评估数据库在使用过程中产生的各类风险，并获取系统提供的优化建议，使数据库运行得更加安全、稳定。风险审计报告 表结构版本 新增 支持保存...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
从RDS MySQL迁移至自建Kafka
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
2021年
2021-11-23 全部地域 清空分区数据 MaxCompute集成网易有数BI工具（商业化）发布 MaxCompute集成网易有数BI无缝对接，支持网易有数BI对MaxCompute直连场景下BI分析，同时可以支持可视化配置数据缓存时长，对数据进行缓存，以提高数据查询...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
后续指引
说明 相关文档 数据迁移 上传下载数据 MaxCompute提供Tunnel批量数据通道、Streaming Tunnel流式数据写入通道和DataHub实时数据通道三种数据上传下载的通道，同时还支持基于DataHub和Tunnel提供的SDK实现上传下载数据，满足多样化场景需求...
库表结构优化
本功能持续收集SQL查询的性能指标及其使用到的数据表、索引等信息，并进行算法统计分析，自动给出调优建议，减少用户手动调优的负担。背景信息 随着各类数据分析业务的丰富和发展，数据库所承载的查询数量和复杂度持续增加。库表结构的设计...
示例数据
该数据包括在2015年8月18日至2015年9月18日期间，在两个站点（加州Santa Monica（ID 9410840）和加州（Coyote Creek（ID 9414575））上收集到的水位（ft）观测值，这些数值每6秒收集一次，总共15,258个观测值。请注意，average_temperature...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
数据膨胀诊断
AnalyticDB PostgreSQL版 提供的智能诊断数据膨胀功能，可以定期自动诊断数据库内的所有表，并生成诊断信息表。您可以通过诊断信息表，查看表的膨胀情况并获得相应的处理建议（如执行VACUUM或VACUUM FULL操作）。注意事项 智能诊断数据膨胀...
pg_dump
pg_dump的数据库活动通常由统计收集器收集，如果不需要收集，可以通过 PGOPTIONS 或 ALTER USER 命令将参数 track_counts 设置为 false。示例 执行以下命令，将名称为 mydb 的数据库备份到SQL脚本文件中：pg_dump mydb>db.sql 执行以下命令...
pg_profile
被采样的数据库中必须创建 pg_stat_statements 插件，可选创建 pg_stat_kcache 插件来收集更多信息。存储采样信息将会占用磁盘空间，该插件有自动清理机制，请注意数据保存。一次采样较为耗时，无需频繁采样，推荐频率为每小时1~2次。使用...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
什么是MaxCompute
随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（TB、PB、EB）级别。MaxCompute提供离线和实时的数据接入，支持大规模数据计算及查询加速能力，为您提供面向多种计算场景的数据仓库解决...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
DLF+EMR之统一权限最佳实践
DLF 数据权限：DLF所提供的数据湖的数据权限体系，支持配置数据库、数据表、数据列、函数四种维度细粒度权限控制。详见 数据权限概述。业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
概述
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
区域下钻热力层（v2.x版本）
登入 geojson.io 网站，单击左上角 Open>File，将获取到的浙江省范围的JSON数据添加到geojson.io右侧编辑框内。单击左上角 Save>TopoJSON，得到浙江省的topo_json文件。说明 自定义区域合并，可能需要使用 turfjs.org 这个方法合并两个相邻...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
查看敏感数据识别结果
敏感数据识别任务扫描完成后，您可以查看敏感数据识别结果。数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 ...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
- 产品推荐
- 这些文档可能帮助您