热搜报表
热搜引导搜索点赞数/引导搜索PV 依赖开通数据采集功能，并且上传了用户点赞(bhv_type=”like”)行为数据 衡量热搜引导点赞效果 引导搜索评论转化率 热搜引导搜索的评论转化率 热搜引导搜索评论数/引导搜索PV 依赖开通数据采集功能，并且...
下拉提示报表
说明 目前OpenSearch对下拉提示进行的数据统计指标包括：核心指标，流量指标，点击指标，引导搜索指标，Query分析指标，五个维度：核心指标 指标名 定义 计算公式 依赖 意义 下拉提示PV 请求下拉提示且返回成功的次数，不包括返回错误的...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
基于Delta Table构建近实时增全量一体化链路实践
比如近实时数据导入链路，依赖平台引擎具备事务隔离、小文件自动合并等能力，又比如增全量数据合并链路，还依赖增量数据存储和读写，主键等能力。在MaxCompute推出新架构之前，为了支持这些复杂的综合业务场景，只能依赖于下图所示的三种...
使用pg_restore恢复逻辑备份文件数据
恢复指定表数据时不会尝试还原指定表可能依赖的数据库对象，因此无法保证将指定表还原到干净的数据库时一定会成功。恢复数据库 登录已备份数据的ECS实例或本地主机，使用如下命令恢复数据。pg_restore-h '<hostname>'-U<username>-p<port>-...
临时查询
临时查询主要针对即席查询（Ad Hoc）的场景，面向数据科学家和数据分析师，其主要使用工具为SQL。运行临时查询作业时，将会在页面下方显示日志和查询结果。本文为您介绍如何在临时查询页面新建作业、设置作业、运行作业和编辑锁操作。背景...
冷热数据分层存储
不依赖冷热数据存储规则。背景知识 热数据：访问频次较高的数据，存储在热数据盘（即创建集群时所选的ESSD云盘或高效云盘）中，满足高性能访问的需求。冷数据：访问频次较低的数据，存储在较低价的冷数据盘中，满足高性价比的存储需求。...
什么是数据管理DMS
为什么选择数据管理DMS 全域数据资产：支持企业全域数据资产管理，提供贯穿数据生命周期的质量治理与安全治理，帮助企业快速地查找数据，高效地使用数据。数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据...
什么是数据库网关
为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时数据库网关可以与其他阿里云产品（例如数据传输服务DTS，数据库备份DBS，数据管理...
数据开发常见问题
跨周期依赖场景 什么情况下配置依赖上一周期的依赖项为本节点？为什么运维中心有些依赖线是虚线？下游节点同时依赖多个任务运行时，依赖关系如何配置？小时任务设置自依赖对自身及下游节点有什么影响？日调度任务依赖小时调度任务运行的...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
使用流程
若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见 支持的数据库引擎与功能 或 各类数据库备份配置指导文档。备份恢复方案 您可以通过如下两...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
产品优势
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
常见问题
如果想使用MaxCompute的自定义函数（UDF）或MapReduce功能需要依赖什么资源来完成？MaxCompute常见错误信息如何理解，怎么定位问题？使用MaxCompute需要具备什么专业技能？MaxCompute支持多种计算模型数据通道，满足多场景需求。所以您只...
数据源权限管理
一个数据源分享给目标用户后，源数据源可以控制分享关系，随时解除分享，且无需检查已分享数据源的任务依赖情况。一个数据源以 可编辑 模式分享给目标用户后，如果目标用户执行 取消分享 操作，会检查该分享数据源的任务依赖情况。如果有...
Proxool 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Proxool 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 proxool-mysql-client 示例工程 前提条件 您已安装 OceanBase ...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
依赖跟踪
之所以在这里会停下，是因为没有什么依赖着外键约束（如果希望检查 DROP.CASCADE 会干什么，运行不带 CASCADE 的 DROP 并阅读 DETAIL 输出）。本数据库中的几乎所有 DROP 命令都支持 CASCADE。当然，其本质的区别随着对象的类型而不同。...
服务关联角色
常见问题 为什么我的RAM用户无法自动创建Databricks数据洞察服务关联角色AliyunServiceRoleForDDI？您需要拥有指定的权限，才能自动创建或删除AliyunServiceRoleForDDI。因此，在RAM用户无法自动创建AliyunServiceRoleForDDI时，您需为其...
为什么会空跑
场景五：临时工作流中未被选择的实例 当补数据时，假设C节点依赖B节点，B节点依赖A节点，如果补数据选择补AC节点，则该B节点实例状态为 临时工作流中未被选择的实例。日调度任务空跑排查方法 如果是日调度任务请检查该节点的调度配置界面...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
任务运行成功没有数据
本文汇总介绍任务执行成功没有数据的相关问题。场景一：节点状态成功，有执行日志 场景二：节点状态成功，无执行日志 场景一：节点状态成功，有执行日志 节点运行完成说明节点里面的逻辑完成了，但是周期实例自动调度时，节点没有取到上游...
调度依赖配置指引
方式一：自定义依赖关系 若DataWorks上任务间不存在强血缘依赖（例如，不强依赖上游某个分区数据，仅取上游当前时间点最大分区数据），或依赖的数据非周期调度节点产出的表数据（例如，本地上传的表数据），则您可自定义节点的依赖关系。...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...
时间属性配置说明
但自动调度的 周期实例 何时生效，或依赖关系什么时候更新，与您选择的实例生成方式有关。节点的实例生成方式包括 T+1次日生成 和 发布后即时生成，具体如下。实例生成方式 说明 T+1次日生成 节点发布生产环境后第二天自动调度，您可在 ...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
什么是数据库网关
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
示例项目使用说明
依赖JAR包（lib目录下）：tutorial.jar：sample.pig作业需要的依赖JAR包。准备工作 本文提供了一些测试数据，您将其上传到OSS中即可使用。您还可以自行准备以下可选测试数据，例如，MaxCompute、MNS、ONS和LogService等。创建LogService，...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
DROP OWNED
DROP OWNED 用于删除当前数据库中被指定角色之一拥有的所有对象。简介 DROP OWNED 删除当前数据库中被指定角色之一拥有的所有对象。任何已被授予给给定角色在当前数据库中对象上或者在共享对象（数据库、表空间）上的特权也将会被收回。...
配置备份策略
OceanBase 数据库支持对备份策略进行修改，您可以根据业务需求修改备份周期、备份时间、备份保留天数、是否开启异地备份等参数。集群实例创建时会默认创建备份策略，同时开启日志备份。设置备份策略 登录 OceanBase 管理控制台。在左侧导航...
- 产品推荐
- 这些文档可能帮助您