系统管理
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
概述
本节为不熟悉关系数据库管理系统的人介绍 SQL 语言。将讨论创建、填充、查询和更新表等基本操作以及示例。还将讨论视图、外键和事务等更高级的概念。PolarDB PostgreSQL版（兼容Oracle）是关系数据库管理系统（RDBMS）。这意味着它是用于...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
数据查询
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
操作指南
DataV可视分析地图 管理数据树 添加PolarDB PostgreSQL数据库 添加RDS PostgreSQL数据库 管理项目 数据源管理 图层管理 图层交互管理 其他更多操作请参见 操作指南。DataV可视分析创作间 创建数据集 可视分析数据集 自定义编辑卡片 分享...
按扫描量付费
您可以登录 数据湖分析管理控制台，通过 费用>订单 查看消费记录。如何节省费用 您可以先通过以下3种方式对原始数据进行处理，然后再使用DLA扫描数据，可以节省一定的费用。格式转换：把原始数据的格式转换为高性能格式。DLA支持多种高性能...
附录：预设角色权限列表（空间级）
不同预设角色对DataWorks各空间级功能的操作权限详情请参见下文的：数据管理 发布管理 按钮控制 代码开发 函数开发 节点类型控制 资源管理 工作流开发 数据集成 数据建模 数据分析 此外，空间级预设角色对MaxCompute引擎数据也具有一定的...
时空分析
支持栅格模型，提供较为丰富的栅格数据管理和分析计算的函数，支持OSS数据源；性能优于PostGIS；支持轨迹模型，提供一组数据类型，函数和存储过程，帮助用户高效管理、查询和分析时空轨迹数据。具体优势如下：易用性强，双引擎可平滑切换，...
非结构化分析
AnalyticDB PostgreSQL版 的向量分析旨在帮助您实现非结构化数据的近似检索和分析，具备丰富功能和优异性能。功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量...
创建Kudu数据源
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
功能优势
分析型数据库MySQL版向量分析功能在通用性、性能优化和产品化上与普通向量检索系统相比有以下优势。高维向量数据的高准度和高性能 以典型的人脸512维向量为例，分析型数据库MySQL版向量分析提供百亿向量100 QPS、50毫秒响应时间（RT）约束...
面临的业务挑战
这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑增加了企业存储和使用数据的成本。分析不实时 企业运营的形式越来越多样化，...
管理数据库资产
本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要审计的数据库实例。登录数据库审计系统。具体操作，请参见 登录...
创建IBM DB2数据源
背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先完成IBM DB2数据源的创建。更多IBM DB2信息，请参见 IBM DB2官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块...
资产权限列表
管理数据板块权限 Y Y N N N N Y N N 管理项目权限 Y Y N N N N N Y N 管理表权限 Y N N N N N N Y N 管理数据源权限 Y Y Y N N N N N N 管理变量权限 Y Y N N N N N N N 管理密钥权限 Y Y N Y N N N N N 管理数据服务权限 Y Y N N N N N Y...
创建IBM DB2数据源
背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先完成IBM DB2数据源的创建。更多IBM DB2信息，请参见 IBM DB2官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块...
数据分析整体趋势
通过持续投入和积累，阿里云从2020年开始，连续三年荣获Gartner云数据库管理系统魔力象限全球领导者称号。在数据分析关键能力层面，下图为 云原生数据仓库AnalyticDB PostgreSQL版 在《2020 Gartner Critical Capabilities for Cloud ...
SQL回放
当源端OLTP库的数据迁移到目标端OLAP库后，您可以使用 数据管理DMS 的SQL回放功能，查看源端SQL在目标端的兼容性及SQL性能对比的结果，帮助您提升OLAP库的测试效率。背景信息 OLTP是传统关系型数据库的主要应用，主要用于基本和日常的事务...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
功能更新动态（2023年）
新建和管理数据标准 新建和管理落标映射规则 已映射关系管理 无效映射关系管理 查看落标评估明细 资产质量 支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，并支持按照个人的权限控制个人所能查看的数据...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
分析业务过程
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
分析业务过程
您可以参考业务规划设计文档和业务运行（开发、设计、变更等）相关文档，从以下几方面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，...
Kafka元数据管理
查看统计分析 进入Kafka数据管理页。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击 统计分析 页签。在上方...
如何对JSON类型进行高效分析
PolarDB MySQL版 本身是一个关系型数据库管理系统，其存储的数据通常是结构化数据，但也原生支持存储和查询半结构化数据，如XML和JSON格式数据。PolarDB IMCI也全面支持JSON数据类型及其列式函数，采用二进制JSON格式来存储半结构化数据，...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
文档更新动态（2023年）
更新说明 新建和管理数据标准 新建和管理落标映射规则 已映射关系管理 无效映射关系管理 查看落标评估明细 资产质量功能优化 支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，并支持按照个人的权限控制...
账单数据订阅及查询分析
订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。背景信息 订阅并分析账单数据前，请先了解...
数据查询与分析管控
查看自建数据源访问身份 您可在 工作空间管理>数据源管理 查看目标数据源的访问身份（即配置的访问数据源的用户信息）。进入数据源管理，详情请参见 创建与管理数据源。附录：DataWorks各版本下载数据条数上限 DataWorks各版本可设置的下载...
配置跨库Spark SQL节点
操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据开发>任务编排。单击目标任务流名称，...
亿海蓝-航运大数据的可视化案例
其中，航运数据可视化分析系统的核心功能，是对用户关心的航运数据进行分析和报告输出。输出形式主要是热力图和统计指标。示例使用场景如下：大宗航线繁忙度分析 铁矿石LNG等货种航线分布 港口业务强度分析 内河横向截面的多航道通行量研究...
行业趋势与背景
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
客户案例
客户诉求 在余额宝用户数持续增长，数据量也成倍增长的情况下，已经无法通过简单的Hadoop集群管理数据，同时业务端需要通过数据了解用户、分析行为进而对业务决策和用户行为进行精准预测。解决方案 天弘基金基于阿里云MaxCompute构建了企业...
什么是MaxCompute
数据生态支持 MaxCompute与阿里云DataWorks深度结合，可通过DataWorks实现一站式数据开发分析治理，同时也支持其他多种数据开发分析场景：数据湖 数据集成 数据治理 三方引擎的数据开发 数据可视化分析 TopConsole（管理控制台）提供...
湖仓一体
通过使用Catalog，您可以快速访问和分析存储在不同数据仓库和存储系统中的数据，从而实现更加灵活和全面的数据管理和分析。基础概念与操作 Internal Catalog SelectDB原有的Database和Table都归属于Internal Catalog。Internal Catalog是...
聚合支付：Ping+
在线交易业务轻量OLAP类业务场景，使用 PolarDB-X 分析型只读实例，避免此前将OLTP业务数据通过ETL等方式同步至异构分析数据源，降低业务架构的链路复杂度，以节省运维及预算成本。通过 PolarDB-X 分库分表，将数据库水平拆分有效解决了...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
- 产品推荐
- 这些文档可能帮助您