功能更新动态（2024年）
配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 离线研发 支持基于MySQL、Oracle数据源的数据库SQL任务调度和即席查询。...
文档更新动态（2024年）
更新说明 配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 数据开发-编码研发-离线任务开发 支持基于MySQL、Oracle数据源的...
配置Quick引擎
配置表字段：分别为 customer 和 product_name 全局缓存配置 高级版和专业版的组织管理员支持配置全局缓存策略。新组织默认关闭全局缓存。您可以按照图示方式进入全局缓存配置。当选择 开启 全局缓存（①）后，您可以设置 相同查询直接返回...
服务部署：控制台
EAS 支持将从开源社区下载的...镜像/镜像AI-Web部署 部署方式选择 镜像部署服务 和 镜像部署AI-Web应用 时，参数配置如下表所示：参数 描述 镜像选择 支持以下几种配置方式：镜像地址：支持输入用于部署模型服务的镜像地址，例如 registry....
类目导航管理：配置管理
类目导航配置 类目导航配置方便您通过类别有效地组织和管理表，表的类目管理配置完成后，您可以在查找表时，通过类目来过滤目标表。同时支持您将指定表加入到个人收藏，方便快速查看。配置完成的类目导航对阿里云当前地域下所有工作空间...
数据地图概述
表的有序组织和管理 类目管理功能方便您通过类别有效地组织和管理表，表的类目管理配置完成后，您可以在查找表时，通过类目来过滤目标表。详情请参见 类目导航管理：配置管理，同时支持您管理表。说明 阿里云主账号及拥有 ...
表结构配置管理
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置，已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除，但通过API导入的表结构配置（创建者是API同步）不支持编辑、移除。查看表结构配置 单击 查看...
更新时序表
使用UpdateTimeseriesTable，您可以更新时序表的配置信息或时间线表的配置信息，例如数据生命周期（Time To Live，简称TTL）配置。前提条件 已创建时序表。具体操作，请参见 创建时序表。已初始化TimeseriesClient。具体操作，请参见 初始...
新建仪表板
面板搜索 搭建仪表板时，支持用户使用面板搜索功能快速查找配置项。查看图表数据 下面为您演示快速在图表上取数。在仪表板编辑页面，选择一张图表。单击图表上的显示图例，查看某个值的数据情况。更多配置图表效果请参见 多维度可视化分析...
特征配置
特征的配置对应配置总览中的 FeatureConfs，FeatureConfs 是一个 Map[string]object 结构，其中 key 为场景名，可以根据不同场景配置不同的特征 特征加载 在精排之前，需要从特征存储源里获取到 user 或者 item 的特征数据。在某些情况下，...
逻辑表配置概述
调度配置 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及...
配置示例：MaxCompute
您也可以输入目标表名（支持表名首字母模糊搜索），查找对应的表。单击相应表后的 配置监控规则。配置分区表达式 数据质量通过分区表达式来确定需要配置的规则：如果您的检查对象为非分区表，可以配置分区表达式为 NOTAPARTITIONTABLE。...
逻辑表配置概述
配置逻辑表调度属性 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化...
时序表操作
创建时序表后，您可以使用表、查询表信息、列出表名称、更新表以及删除表。说明 关于时序模型的更多信息，请参见 时序模型概述。创建表 创建一张时序表，同时指定时序表的数据生命周期（TimeToLive）。命令格式 create-m mode-t tableName-...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
二级索引
为数据表创建二级索引后，您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
逻辑表运行参数配置
逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面，...
逻辑表运行参数配置
逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面，...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
配置逻辑表基本信息
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息，包括逻辑表的表类型、业务对象、数据板块，主题域、数据时效等基本信息，同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，...
用户属性管理
已配置的用户标签表可以通过编辑表结构配置进行映射，在下次调度导入时，属性开始获取数据。自定义用户属性 操作步骤：选择工作空间>配置管理>数据接入管理>数据导入>用户属性管理。单击右上角 新增属性。配置以下参数：参数 说明 显示名称...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
配置LogicalTable输入组件
LogicalTable输入组件用于读取Dataphin中逻辑表（事实逻辑表、维度逻辑表、汇总逻辑表）中的数据。同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
输入节点
运行配置 运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...
输入节点
运行配置 运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...
配置更新
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时，需要在运维管理界面进行 配置更新，再 索引重建 才会生效：1.选择需要更新的“索引结构版本”，包括对应的数据源中的索引表的版本，选择需要更新的“高级配置版本”...
配置更新
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时，需要在运维管理界面进行 配置更新，再 索引重建 才会生效：1.选择需要更新的“索引结构版本”，包括对应的数据源中的索引表的版本，选择需要更新的“高级配置版本”...
表管理
查找表 在表管理页面，您可通过 按表主题查看 及 按引擎元数据查看 两个维度展示目标表。同时，DataWorks支持通过引擎类型、表名称、环境信息等进行筛选，并可自定义表显示顺序，辅助您快速找到目标表并按需展示。说明 仅标准模式工作空间...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版...如果需要同步的表数量较少且分析型数据库MySQL版表结构与源表差异较大，可以在分析型数据库MySQL版中提前 创建表，配置同步链路 时需要把步骤7中的中 结构初始化 选项去掉即可。
MySQL整库实时同步至OSS数据湖
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
配置Hive开启Ranger权限控制
示例二：表权限配置 Ranger Hive中表的创建权限可以配置到表级别，例如配置 database=testdb、table=test 和 column=*的 Create 权限时，用户仅具有 test 这张表的创建权限，不能创建其他表。如果您希望配置用户能在Database下自由创建所有...
维度和事实逻辑表物化配置
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
配置逻辑表数据延迟
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口 进入数据 开发 页面。在...
配置逻辑表数据延迟
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在...
数据传输作业：数据集成
配置实时同步任务请参见 配置单表增量数据实时同步、DataStudio侧实时同步。注意事项 在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute数据源，详情请参见 配置MaxCompute数据源。购买合适规格的独享数据集成资源...
添加及管理监控对象
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...
添加及管理监控对象
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...
- 产品推荐
- 这些文档可能帮助您