DataWorks OpenAPI概述
3级 GetDISyncTask 调用GetDISyncTask获取数据集成实时同步任务和同步解决方案的详情。3级 DeployDISyncTask 调用DeployDISyncTask发布实时同步任务和同步解决方案任务。3级 GetDISyncInstanceInfo 调用GetDISyncInstanceInfo获取实时同步...
高效数据治理实施指南
任务处理人和计划负责人可每日获取数据治理计划通知，针对当前周期的治理进展和待治理工作进行分析，并对整体计划或个人还需要治理的问题进行及时查看和处置，以尽快达成治理目标。单击 查看当日报告，进入治理计划的周期报告模块，进行...
DataWorks On Hologres使用说明
开始使用：数据分析 DataWorks数据分析提供Hologres数据分析与服务共享能力。开始使用：数据治理 DataWorks提供 Hologres 元数据管理与数据治理能力。开始使用：数据服务 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。...
Kafka实时入湖建仓分析
在 SQL执行 页面，系统已经选中了目标库，您可以直接输入SQL语句进行数据分析。（可选）OSS数据存储管理。在 湖仓列表 页签单击 存储路径 下的OSS路径链接。在OSS控制台查看已经从Kafka数据源同步过来的库表路径以及表文件。数据库路径：/...
DLA Lakehouse实时入湖
当前取值固定为earliest，表示自动从最开始的时间点获取数据。每批次消费记录条数：表示每次通过DTS拉取的数据量。生成目标数据规则配置 的参数说明如下：参数名称 参数说明 库名前缀 生成目标库的数据路径和元信息名称时，会自动添加该...
RestAPI Reader最佳实践
说明 分区表配合覆盖写命令，可以实现分区覆盖写的效果，让数据同步任务具备可重跑性，重跑时数据不会重复，并且在进一步做数据分析时，分区表也更易于数据分析。建表语句如下。CREATE TABLE IF NOT EXISTS ods_xiaobo_rest2(`axis` STRING...
DataWorks On CDP/CDH使用说明
开始使用：数据分析 DataWorks数据分析提供CDP及CDH数据分析与服务共享能力。开始使用：数据治理 DataWorks提供 CDP及CDH 元数据管理与数据治理能力。开始使用：数据服务 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。...
创建逻辑模型：维度表
例如，在进行电商业务数据分析时，可用的维度及其属性有：订单维度（属性包括订单ID、订单创建时间、买家ID、卖家ID等）、用户维度（性别、出生日期等）、商品维度（包括商品ID、商品名称、商品上架时间）等，此时您就可以将这些维度和属性...
功能简介
提供更多数据生产需求，完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL的形式到数据库查询，并返回符合条件的数据，将数据组装成报文格式返回...
DMS作业调度
数据从RDS数据库以“T+1”的形式加载到 AnalyticDB PostgreSQL版Serverless模式 中进行高性能数据分析。DMS作业调度支持配置自动调度框架，低代码、白屏化操作，上手容易。注意事项 RDS数据库中的数据，需要可以指定条件来增量归档。例如...
性能优化与诊断简介
功能介绍 RDS SQL Server的自治服务主要包含如下功能：空间管理 提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题，由如下几个部分组成：空间总览：整体查看空间情况，包括一周变化量...
汇总数据层（DWS）
您可以思考，基于某个维度的聚集是否经常用于数据分析中。如果答案是肯定的，就有必要把明细数据经过汇总沉淀到聚集表中。汇总表规范 公共汇总表命名规范：dws_统计粒度。举例如下：dws_report（report汇总表）dws_user（user汇总表）创建...
DataWorks On MaxCompute使用说明
开始使用：数据分析 DataWorks数据分析提供MaxCompute数据分析与服务共享能力。开始使用：数据治理 DataWorks提供 MaxCompute 元数据管理与数据治理能力。开始使用：数据服务 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API...
进度条
重要 百分值为（value/sum或总值），value 的值从 数据 面板中获取。数据面板中的 sum 值内容优先级高于配置栏内的 总值。空值更新：打开开关，当数据为空或者异常时组件进度显示为0；关闭开关，数据为空或者异常时组件进度不更新进度。...
通过数据同步功能同步SLS至湖仓版（推荐）
最近位点（end_cursor）：自动从SLS数据中最近的时间点获取数据。自定义点位：您可以选择任意一个时间点，系统则会从SLS中第一条大于等于该时间点的数据开始消费。Job型资源组 指定任务运行的Job型资源组。增量同步所需ACU数 指定任务运行...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
概述
从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...
查看集群日报与分析
HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据存储大小 HDFS使用分析 在HDFS使用分析中，您可以获取以下图表信息：HDFS User...
客户案例
同时，构建自助数据分析平台，快速满足各类人员不同数据分析需求。数据体系整体上云，使用少量组件即可实现流批一体、湖仓一体，完成从数据驱动到数智驱动，极大发挥数据价值。视频介绍 社交媒体行业：欢聚时代大规模数据湖建设 客户简介 ...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
使用流程
数据分析与计算：您可以调用Serverless Presto和Spark引擎来进行数据分析与计算。具体请参见 Serverless Presto 和 Serverless Spark。数据应用：您可以通过DataWorks和DMS来调度DLA Presto和DLA Spark任务，也可以将OSS数据的查询分析结果...
MongoDB 6.0新特性概览
变更流可以让业务更容易地实时获取数据库的变更，并基于此构建各种事件驱动型的应用或系统，不再需要依赖其他的数据同步中间件。变更流的功能更新记录如下：版本 更新说明 MongoDB 3.6 首次发布。仅支持订阅集合（Collection）维度。events...
账单数据订阅及查询分析
订阅成功后，账单数据将会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。背景信息 订阅并分析账单数据前，请先了解...
DataWorks On EMR使用说明
数据建模与开发 5 DataWorks数据分析提供EMR数据分析与服务共享能力。数据分析 6 DataWorks提供EMR元数据管理与数据治理能力。数据治理 7 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。数据服务 8 DataWorks支持开放...
开发管控：管理者
控制某用户不允许进入数据分析，则请勿为该用户赋予数据分析师角色权限。控制某用户可创建节点并编辑代码、创建表、创建函数等，可仅赋予该用户开发角色权限。空间级模块权限管控 强制代码评审 用于保障代码正确性。该功能开启后，开发人员...
统一服务
提供更多数据生产需求，完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL的形式到数据库查询，并返回符合条件的数据，将数据组装成报文格式返回...
功能简介
提供更多数据生产需求，完成数据从生产、使用、到评估的闭环。统一服务提供了如下数据服务能力。数据服务API的源头为数据表，可以是单表也可以是多表，请求后最终以SQL的形式到数据库查询，并返回符合条件的数据，将数据组装成报文格式返回...
通过数据同步功能同步Kafka至湖仓版（推荐）
数据分析 同步任务成功后，您可以通过 Spark Jar开发 对同步到AnalyticDB MySQL的数据进行分析。Spark开发的相关操作，请参见 Spark开发编辑器 和 Spark离线应用开发。在左侧导航栏，单击 作业开发>Spark Jar 开发。在默认模板中输入示例...
DataV连接
背景信息 DataV数据可视化是使用可视化应用的方式来分析并展示庞杂数据的阿里云产品。DataV旨在通过图形化的界面帮助不同专业背景的用户轻松搭建专业水准的可视化应用，满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示...
功能简介
依托企业数据智能平台，您可以设计高质量的标准化数据模型，减少重复开发工作，全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用并探索数据，更高效地从数据中获取业务价值。目前企业数据智能平台提供以下功能：...
企业版和标准版功能对比
支持 支持 动态脱敏 在数据库使用中，需要实时地从生产环境中的数据库（即生产库）获取最新的客户数据来进行报表生成、数据分析、开发测试等。但为了不泄露真实的客户个人信息（Personal Identifiable Information），需要将这些数据进行...
分析外部OSS上的数据
技术原理 列存索引（IMCI）是一个高性能的列存分析引擎，相关文档请参见 PolarDB HTAP实时数据分析技术解密，ORC和Parquet也是列存格式，OSS支持高并发读取，在高并发时可以获取更高的网络吞吐。因此，IMCI的并行扫描功能可以充分利用OSS的...
技术原理
用户进行扩容后，实例的数据节点数量从4个增加到6 个，触发PolarDB-X的再平衡任务，将部分数据分区从旧节点移动到新节点上。这一过程在后台利用空闲资源完成，对业务线上流量无影响。高可用与容灾 在生产环境部署数据库时往往会搭建多个...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
产品功能
数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件或压缩包文件）、从数据库SQL表导入。未来还将支持直接从阿里云对象存储服务OSS中导入数据或借助DataWorks工具进行各种格式的数据导入。数据解析 GDB ...
配置跨库Spark SQL节点
在线业务会产生大量的数据，当需要对这些数据进行加工分析时，一般需要将在线业务的数据同步到专门用于数据加工和分析的数据仓库，再进行数据分析。数据仓库的数据回流到在线库，用于数据查询。在数据仓库中对数据进行加工分析后，往往需要...
用自然语言实时查看BI报表
应用场景 临时性数据分析：帮助非数据技术相关人员（如管理岗、决策人员等，特指不直接参与数据库表结构、数据分布和特征设计和感知等人员）快速获取所需的统计数据。通过简单的问题或指令来获取并分析需要的数据，如“我需要最近一周的...
成本分析
通过这些数据分析，可以方便地帮助您在遇到费用突增时快速定位到具体账期、实例、计费项，也可以方便您在进行费用审计时快速统计核查相关费用。计算用量分析：您可以通过计算用量分析查看指定账期下某个或多个实例的相关用量记录数、使用量...
NL2BI：用自然语言实时查看BI报表
应用场景 临时性数据分析：帮助非数据技术相关人员（如管理岗、决策人员等，特指不直接参与数据库表结构、数据分布和特征设计和感知等人员）快速获取所需的统计数据。通过简单的问题或指令来获取并分析需要的数据，如“我需要最近一周的...
- 产品推荐
- 这些文档可能帮助您