数据表
已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择 资产明细>我可使用的，在 我可使用的 页面，选择 数据表＞...
数据表
已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择 资产明细>我已授权的＞数据表。在 我已授权 的数据表页面...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
dlf:BatchGetTables 批量获取数据表列表。dlf:BatchUpdatePartitions 批量更新分区信息。dlf:BatchUpdateTables 批量更新数据表。dlf:CreateDatabase 创建数据库。dlf:CreateFunction 创建函数。dlf:CreatePartition 创建分区。dlf:...
API概览
GetTableTopology 获取数据表的拓扑信息 调用GetTableTopology获取数据表的拓扑信息。GetMetaTableDetailInfo 获取表的字段、索引等信息 调用GetMetaTableDetailInfo接口获取表的字段、索引等信息。GetMetaTableColumn 获取表的字段信息 ...
我的资产
通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据资产，并提供数据资产详情查看等功能，帮助用户清晰的了解在数据加工、数据分析等场景下可...
API概览
ListTableMetas 获取数据表列表 获取数据表列表。GetTableMeta 获取数据表 获取数据表详细信息。DeleteTableMeta 删除数据表 删除数据表。CreateTableMeta 创建数据表 创建数据表。场景管理 API 标题 API概述 CreateScene 创建场景 创建...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
配置数据源
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置数据源。前提条件 为了保障数据源和服务资源组之间的正常数据访问，需要完成网络连通与白名单的配置，否则将无法...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作以及如何将表转换为DataFrame对象。背景信息 PyODPS提供对MaxCompute表的基本操作方法。操作 说明 基本操作 列出项目空间下...
GetTableDBTopology-获取逻辑表的拓扑图
获取数据表的拓扑图。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用...
GetTableTopology-获取数据表的拓扑信息
调用GetTableTopology获取数据表的拓扑信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
通过Spark SQL读Lindorm数据
本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表引擎、计算引擎、文件引擎。计算引擎开通方式，请参见 开通与变配。已开通...
GetTableProfile-获取表数据概况
获取表数据概况的详细信息。接口说明 使用数据概况需要先将该表的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
API概览
DescribeDistributeTableList 获取数据库表列表。ModifyDatabaseDescription 修改数据库描述。DescribeDbList 查看实例下的数据库详情。地域 DescribeRegions 查看支持的地域和可用区。账号管理 CreateAccount 创建普通账号。...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
回收站列表
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
表回收站
开启 PolarDB-X 1.0 表回收站功能后，通过 DROP TABLE 指令删除的表将被移动至表回收站中不再可见，数据表移动至回收站2小时后，即被自动清理，无法恢复。您可以在表回收站中查看、恢复、清理已删除的表。限制与说明 PolarDB-X 1.0 实例...
查看全域数据表校验记录
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
查看全域数据表校验记录
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
数据表管理
本文介绍了在 PolarDB-X 1.0 控制台上对数据表进行调整拆分键、关闭全表扫描和查看表结构的方法。前提条件 您需要先 连接到数据库 并 使用SQL语句创建表 后，才能在控制台上管理数据表。功能介绍 调整拆分键 拆分键即分库或分表的数据表字...
GetDataTrackJobTableMeta-获取数据追踪表元数据信息
获取数据追踪表元数据信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值...
用户组权限管理
管理数据表权限 在数据表权限详情页面，您可以查看数据表基本信息及对数据表执行申请、续期及交还操作。区域 描述 ① 筛选及搜索区 支持快捷筛选 7天内到期 的数据表。您也可以单击 筛选 按钮，按照 表类型、数据板块、所属项目、表环境 ...
用户组权限管理
管理数据表权限 在数据表权限详情页面，您可以查看数据表基本信息及对数据表执行申请、续期及交还操作。区域 描述 ① 筛选及搜索区 支持快捷筛选 7天内到期 的数据表。您也可以单击 筛选 按钮，按照 表类型、数据板块、所属项目、表环境 ...
授权与回收表权限
数据表权限管理详情 在数据表权限管理页面，单击 管理权限 页签和 操作记录 页签，可查看数据表权限详情和操作记录详情。管理权限详情 您可以在数据表 管理权限 页签查看数据表基本信息及对数据表执行授权及查看权限操作。区域 描述 ① ...
授权与回收表权限
数据表权限管理详情 在数据表权限管理页面，单击 管理权限 页签和 操作记录 页签，可查看数据表权限详情和操作记录详情。管理权限详情 您可以在数据表 管理权限 页签查看数据表基本信息及对数据表执行授权及查看权限操作。区域 描述 ① ...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
概述
本文主要介绍需要实时获取HBase表的数据变更场景。数据写入HBase之后，很多业务场景下需要实时获取或者订阅HBase表的数据变更。当数据被更新时，触发其他应用的业务处理，如物流订单生成后触发仓库作业。对接实时计算，用于业务数据驱动的...
资产权限审计
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
从RDS同步至MaxCompute
合并数据表，获取customer表在 1565944878 时间点的全量数据，示例如下：set odps.sql.allow.fullscan=true;insert overwrite table customer_1565944878 select id,register_time,address from(select row_number()over(partition by t.id...
添加数据集
您可以在页面左侧的搜索框列表内拖动列表右侧的滚动轴选择一个您所需的数据表，也可直接在数据表列表上方的搜索框内输入数据表的名称后单击右侧的 图标，搜索到您所需的数据表。选择一个数据表后，在右侧表格数据展示区域中单击表头行内某...
从RDS同步至MaxCompute
合并数据表，获取customer表在 1565944878 时间点的全量数据，示例如下：set odps.sql.allow.fullscan=true;insert overwrite table customer_1565944878 select id,register_time,address from(select row_number()over(partition by t.id...
写数据表
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
数据探查全局配置
说明 当部分项目或板块下开启自动探查的数据表范围变更，并且删除数据表之前已经开启了数据探查配置，移除数据表后将自动关闭所有相关数据表的自动探查，正在探查中的任务不受影响。后续步骤 完成数据探查配置后，您可对数据表执行自动探查...
数据探查全局配置
说明 当部分项目或板块下开启自动探查的数据表范围变更，并且删除数据表之前已经开启了数据探查配置，移除数据表后将自动关闭所有相关数据表的自动探查，正在探查中的任务不受影响。后续步骤 完成数据探查配置后，您可对数据表执行自动探查...
库表结构优化
冷热数据优化 分析数据表的使用情况，对长期未使用的数据表，建议将其迁移至冷盘存储，以减低数据表存储成本。此类型的优化建议针对数据表级别。迁移数据表到冷盘存储的具体操作，请参见 数据存储冷热分离。说明 数据表迁移至冷盘后，该...
- 产品推荐
- 这些文档可能帮助您