文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据统计
API提供以下接口供您查询对应的数据：查询直播域名带宽数据 查询直播录制路数、转封装用量 查询直播域名截图张数 查询直播域名流量数据 查询域名转码用量数据 查询直播域名实时带宽数据 查询直播域名实时HTTP返回码占比 查询直播域名实时...
数据归档概述
归档后是否支持删除源数据 支持同步删除源数据，保证数据归档和源数据删除同步完成，降低了后期删除源数据的麻烦和风险。删除源数据是通过无锁变更的方式进行，稳定快速，不会产生大事务。源数据会缓存在本地临时表中，如遇特殊情况，可以...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
即时查询DBS逻辑备份
本文将介绍如何在不恢复数据的情况下，即时查询备份数据。前提条件 已创建并配置逻辑备份类型的DBS备份计划。具体操作，请参见 RDS MySQL或自建MySQL逻辑备份。已开通数据湖分析（Data Lake Analytics，简称DLA）服务。重要 自2023年06月01...
冷数据归档
冷数据的判定标准如下：当前时间-数据的时间戳>=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热分界线。说明 通过SQL设置冷热分界线的方法可参见 CREATE DATABASE 或 ...
如何减少查询数据点提高查询效率
本文介绍如何通过减少单次查询数据点来提升查询效率。...起始时间和结束时间最好对齐小时自然边界，避免额外数据的查询。查询的 RT 和需要聚合的数据有关，数据越多，耗时越长。查询操作无法取消，请谨慎选择查询时间范围和查询的 Tag 条件。
数据源管理
查看数据引用图层 选择任一数据，单击 图标，查看当前数据的引用图层，并支持跳转。查看数据表 选择任一数据，单击 图标，查看当前数据的数据表。重命名数据 选择任一数据，单击 图标下的 重命名，重命名当前数据。创建图层 选择任一数据，...
查询数据代码说明
查询数据的代码说明 查询逻辑表数据。SELECT*FROM 板块英文名.逻辑表名 WHERE ds='${bizdate}';其中：板块英文名：需要查询逻辑表所在数据板块的 板块英文名。您可以在数据板块页面，查看数据板块公用英文名。说明 若为开发环境查询数据，...
查询数据代码说明
查询数据的代码说明 查询逻辑表数据。SELECT*FROM 板块英文名.逻辑表名 WHERE ds='${bizdate}';其中：板块英文名：需要查询逻辑表所在数据板块的 板块英文名。您可以在数据板块页面，查看数据板块公用英文名。说明 若为开发环境查询数据，...
数据查询与分析管控
数据源查询结果的操作权限管控 DataWorks支持对查询结果进行展示、复制、下载、分享等操作，并设置数据分析模块中针对该类操作的管控策略，保障数据的操作安全。具体管控能力说明如下。默认权限 对查询结果相关操作的权限管控能力 所有用户...
如何高效地查询时序数据
背景信息 时序数据的模型请参见 如何设计时序数据表，数据是按照时间序列来进行组织的。所以在时序数据表中，所有标记 TAG 的列（标签列）会被建立为索引列，来表示每一条数据具体所属于哪个时间序列，从而显示数据的来源。以时序数据表为...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储...联邦分析：同时连接多个数据源做数据的分析 联邦分析：DLA Presto可对接数十种数据源对各种数据源进行查询。轻量级清洗方案：可以通过Presto满足轻量级数据ETL，从OSS写入数据到数据库。
创建数据脱敏场景
脱敏场景介绍 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作。同时，DataWorks...
简介
当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您解答数据的相关问题的工具时，您可以使用DMS的数据工作站功能。背景信息 Data Fabric是一种创新的数据管理方法，着重于迅速...
数据查询
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
查询用户OSS或专属存储的归档数据
本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS 或 数据归档至专属存储 的用户，包含老用户和新用户。说明 老用户：数据归档查询功能未上线（上线时间：2022年09月14日）前，使用过...
API概览
阿里云视频直播的OpenAPI采用RPC签名风格，签名细节参见 RPC 调用机制。本文为您介绍了视频直播服务的所有API列表，建议您使用服务端SDK来调用API。域名管理 API 描述 AddLiveDomain 调用AddLiveDomain添加直播域名，一次只能提交一个域名...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
SQL查询概述
应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持下载数据，以满足数据分析和报表生成的需求。数据可视化：通过SQL查询可以对计算源中提取的业务数据以图表的形式展示，可有效的帮助...
查询诊断
AnalyticDB PostgreSQL版 查询分析功能可供您查看SQL执行计划以及对应统计信息，供您...磁盘读取数据耗时 算子从磁盘中读取数据的耗时。网络传输数据量 Motion算子节点间网络传输的数据总量。网络传输耗时 Motion算子节点间网络传输数据耗时。
功能简介
数据资产构建 数据同步 可实现离线、实时多源异构数据的便捷同步，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。数据查询 可探查 AnalyticDB ...
什么是数据资源平台
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
数据保护伞入门
查看敏感数据血缘（公测）可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。敏感数据溯源 通过提取数据泄露文件中数据的水印信息，...
管理数据集
变量 否 变量用于在仪表盘展示时，通过动态传入变量值替换数据集中SQL引用的变量，达到筛选数据的目的。SQL 是 查询数据对应的 SELECT SQL，可自由输入任意可正常执行的查询SQL。说明 如果需要在展示图表时进行数据筛选，可在SQL中引用变量...
数据查询
在开发调试或者生产运维过程中，往往需要去HBase中查询某条数据。除了使用HBase shell来写Get、Scan请求，Lindorm insight提供了一个简单的SQL查询入口，您可以使用SQL语法来查询HBase增强版宽表数据。前提条件 已登录目标集群的集群管理...
数据查询
本文介绍数据查询的相关问题。物理表查询支持的云计算资源类型包含哪些？物理表查询支持的云计算资源类型包含哪些？目前包含的有MaxCompute、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL、AnalyticDB MySQL 3.0、SQLServer、Oracle、...
应用场景
此外，您还可以选择数据湖构建DLF作为数据目录服务，DLF可以提供统一的元数据服务，并支持湖上数据的管理，通过DLF可以简化和加速湖上数据的治理过程。在数据湖场景下，通过采集程序，将用户的埋点日志近实时写入到OSS-HDFS，并使用Sqoop...
准备数据源和计算源
同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据...
数据归档至专属存储
但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库空间充足，避免空间容量不足引发实例不可用问题。清理备份临时表：您可以在确认数据归档完成且数据无误后，通过新建 普通数据变更 工单，清理源库中的备份临时表。...
直播流管理
视频直播提供丰富的流管理功能，包括禁推、禁播、中断直播流和恢复直播流，以及查看在线流、历史流、禁推流及其详细信息。本文介绍直播流管理的功能及方法。禁推直播流 视频直播提供了丰富的直播流管理功能，其中禁推直播流功能可帮助您在...
配置跨库Spark SQL节点
Spark SQL语句如下：INSERT INTO mysql_db.orders_month SELECT*FROM adb_dw.orders_month WHERE dt=${bizdate} 跨库数据加工：跨多个库的数据写入到在线库中，实现在线应用中直接查询数据的功能。示例：某电商企业的交易数据保存在MySQL...
查看并管理运行记录
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，...
查看并管理运行记录
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，...
查询互动直播指标数据
调用DescribeLiveInteractionMetricData查询互动直播指标数据。使用说明 可以查询最近3天内的数据，查询时间跨度不能超过24小时。查询粒度：5分钟。QPS限制 本接口的单用户QPS限制为10次/秒。超过限制，API调用会被限流，这可能会影响您的...
直播延迟
服务端 在视频播放前，为了保证直播秒开以及降低卡顿，会先缓存部分直播数据，这样能保证数据的流畅性，但缓存数据会造成一定的直播延迟；在视频播放中，由于网络抖动可能导致数据无法传送到客户端，因此会造成2秒～3秒的延迟。播流端 多数...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...
引擎功能
数据管理 数据库管理 时序数据的存储以Database为粒度进行隔离。支持通过SQL对Database的时间分区间隔、冷热分界线、数据过期时间等属性进行设置。具体操作，请参见 数据库管理。用户和权限管理 支持对时序数据的访问进行用户认证以及存储...
实时监控
直播的用量计费以用量查询的数据为准。实时监控支持7天内的数据查询，最长时间跨度不超过24小时。登录 视频直播控制台。在左侧导航栏选择 数据监控>实时监控。查看实时监控详情。您可以选择待监控的域名及查询的时间段（10分钟实时、近半...
用量查询
近6个月 次日凌晨4点 调用相关API接口查询：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5分钟 3天 93天 15分钟 1小时 31天 186天 4小时 1天 90天 366天 次日凌晨4点 查询用量明细 控制台 登录 视频直播控制台。...
- 产品推荐
- 这些文档可能帮助您