表批读写
与不指定路径的内部表不同，当您使用DROP表时，不会删除外部表的文件 如果运行CREATE TABLE的位置已经包含使用Delta Lake存储的数据，Delta Lake将执行以下操作：如果只指定表名和位置，例如：SQL%sql CREATE TABLE events USING DELTA ...
CREATE TABLE
例如，如果一个临时表将要被用于复杂的查询，最好在把它填充完毕后在其上运行 ANALYZE。可以选择将 GLOBAL 或 LOCAL 写在 TEMPORARY 或 TEMP 的前面。UNLOGGED 如果指定，该表会被创建为一个LOGGED表。IF NOT EXISTS 如果一个同名关系已经...
IntelliJ IDEA Java UDF开发最佳实践
MaxCompute table：UDF运行时需要使用的MaxCompute表的名称。Table columns：UDF运行时需要使用的MaxCompute表的列信息。单击 OK，运行结果如下图。注册MaxCompute UDF。在UDF Java文件上单击右键，选择 Deploy to server.在 Package a ...
自定义召回模型
五、注册召回表 I 点击注册召回表 1、填入召回表基础信息 注意：对应创建服务时配置文件中的model_config字段，表示自定义的模型配置信息。网站初始阶段访问量小，只需要一台配置低的云服务器ECS实例即可运行Apache或Nginx等Web应用程序、...
启动Windows实例时，操作系统进入“Preparing ...
修复损坏的注册表文件 该实例的关键注册表文件被破坏，可能导致操作系统无法正常启动。该实例的启动配置数据（BCD）文件不存在，导致操作系统无法正常启动。配置Windows系统启动项 该实例的启动配置数据（BCD）文件内容被破坏，导致操作...
使用FeatureStore Python SDK搭建推荐系统
在新建节点区域运行以下SQL命令，将用户表、物料表、Label表、序列特征表和行为表从pai_online_project项目同步到自己的MaxCompute中。资源组选择已创建的独享资源组。同步用户表：rec_sln_demo_user_table_preprocess_all_feature_v1...
汇总逻辑表在运维界面查看不到运行日志
概述 文本主要解决汇总逻辑表在运维界面查看不到运行日志的原因。详细信息 运维中查看日志的地方。如果该地方没有日志，这个汇总表全是注册上挂的，注册上挂的日志要看上游，不在逻辑表内部看，在dag图中显示的上游查看日志。适用于 ...
无法访问ECS实例中运行网站的快速排查方法
以 TcpTimedWaitDelay 不存在为例，操作如下：在注册表编辑器的 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services>Tcpip>Parameters 路径下，右键单击注册表项空白区域，然后选择 新建（N）>DWORD（32 位）值。输入 ...
运行配置
支持对以下3类任务设置运行时长阈值：任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等任务。周期任务 包括所有的周期调度任务。手动任务 包括手动实例（计算任务、集成、同步）、萃取模式补数据...
运行配置
支持对以下3类任务设置运行时长阈值：任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等任务。周期任务 包括所有的周期调度任务。手动任务 包括手动实例（计算任务、集成、同步）、萃取模式补数据...
数据质量监控
同时显示产出异常（任务停止和运行失败）的数据表数，您可通过设置“开发状态”筛选停止运行或运行失败的表来查看确认。界面参数说明如下表所示。参数名称 参数说明 表名 数据库中存储的物理表名称。其中，带星号标志的表为接口返回的...
审计日志
逻辑表包含维度逻辑表、事实逻辑表、汇总逻辑表。DeleteModel 删除逻辑表。逻辑表包含维度逻辑表、事实逻辑表、汇总逻辑表。SaveModel 保存逻辑表（包含维度逻辑表、事实逻辑表）。SubmitModel 提交模型。OfflineModel 下线模型。管道任务 ...
小表广播
操作 说明 适用状态 废弃 废弃当前的广播任务，直接终止该任务 广播表创建失败 运行中 运行异常 重试建表 进入建表 DDL 任务的详情页，查看具体任务详情，可进行重试操作 广播表创建失败 刷新状态 获取广播任务的最新运行状态 运行中 运行...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度...逻辑表实例 用于查看已运行的逻辑表任务包含的节点实例及其状态，详情请参见 逻辑表实例。
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
如何解决同步实例关于表的报错？
本文介绍如何使用修改同步对象功能，解决DTS同步实例运行过程中表报错的问题。前提条件 没有业务读取目标库的数据，或业务可以短时间不读取目标库的数据。源库和目标库处于正常运行的状态。除报错信息中的表以外，同步实例有其他待同步的...
MaxCompute UDF（Python）常见问题
注册MaxCompute UDF时未同步指定表资源。原因二：表资源类型不正确，非TABLE。解决措施：原因一的解决措施：通过 MaxCompute客户端 执行 desc function;命令，检查输出结果中的 Resources 是否包含报错信息中的表资源。如果不存在，可执行 ...
查看表资产详情
申请表资产前，了解表资产详情，有利于判断需申请的资产是否符合自己的期望。本文介绍如何查看公开的表资产详情。前提条件 已在运营模块中公开表资产。已在数据开发模块中创建公共节点和场景，并部署运行。已在数据标准模块中创建质量校验...
查看表资产详情
申请表资产前，了解表资产详情，有利于判断需申请的资产是否符合自己的期望。本文介绍如何查看公开的表资产详情。前提条件 已在运营模块中公开表资产。已在数据开发模块中创建公共节点和场景，并部署运行。已在数据标准模块中创建质量校验...
常见问题
为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么还有很多小文件？如果想删除最近产生的小...
开发Graph
在 Console 区域运行Graph，命令示例如下，请根据实际替换其中的MainClass、输入表及输出表后运行命令。更多命令，请参见 JAR命令。jar-libjars xxx.jar-classpath/Users/home/xxx.jar ...
一键MaxCompute Merge任务节点问题排查方案
Merge任务说明 基本原理 一键实时同步MaxCompute运行时会先将源表存量数据通过离线同步至Base表中（目标表），同时启动实时同步任务读取源库增量变更日志，写到增量日志表中（log表）。其后的数据处理逻辑：在T+1日的凌晨，启动Merge任务...
数据准备与预处理
单击画布上方的 运行 按钮，实验将根据工作流顺序依次运行 读数据表-1、SQL脚本-1 节点。数据预处理：将所有字段转换为double类型。在左侧组件列表的搜索框中，搜索 类型转换，找到 类型转换 组件。将 类型转换 组件拖入右侧画布中，画布中...
功能更新动态（2022年）
汇总逻辑表注册上挂指标取消来源表负责人为当前操作人的限制，允许上挂所有的有读权限的物理表字段。2022年07月19日 华北2（北京）规范建模概述 2022年07月21日 华东1（杭州）2022年07月26日 华南1（深圳）2022年08月02日 华东2（上海）离...
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
周期任务补数据
指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：对于维度逻辑表和事实逻辑表，系统将自动识别并选中计算逻辑发生变更的字段，不支持取消选中，保障数据按照最新计算逻辑运行。对于汇总逻辑表，系统会根据指标的...
周期任务补数据
指定字段：适用于需要自定义补数据的字段的场景，受到如下约束：有变更字段：对于维度逻辑表和事实逻辑表，系统将自动识别并选中计算逻辑发生变更的字段，不支持取消选中，保障数据按照最新计算逻辑运行。对于汇总逻辑表，系统会根据指标的...
有效映射关系管理
对象名称：自定义输入，字段名称或指标名称等，外部注册表请填写GUID。数据标准编码：自定义输入，将根据标准编码识别数据标准。数据标准名称：非必填，不用于识别数据标准。名称输入大小写不敏感，将根据资产所属系统是否大小写敏感自动...
有效映射关系管理
对象名称：自定义输入，字段名称或指标名称等，外部注册表请填写GUID。数据标准编码：自定义输入，将根据标准编码识别数据标准。数据标准名称：非必填，不用于识别数据标准。名称输入大小写不敏感，将根据资产所属系统是否大小写敏感自动...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
MaxCompute表数据
查看表详情 在查找到的表结果列表中，单击目标表名称，即可进入表详情页面查看表详细信息：功能 说明 相关文档 快捷操作 您可以在页面上方对表进行 申请权限、将表加入 数据专辑/查看专辑、收藏表、在 数据服务 页面 生成API、在 SQL查询 ...
UDAF概述
读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表数据：做过表结构修改（Schema Evolution）的表数据。包含复杂数据类型的表数据。包含JSON数据类型的表数据。Transactional表的表数据。注意事项 使用自定义函数时，您需要注意...
MaxCompute UDF概述
读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表数据：做过表结构修改（Schema Evolution）的表数据。包含复杂数据类型的表数据。包含JSON数据类型的表数据。Transactional表的表数据。注意事项 使用自定义函数时，您需要注意...
特征工程
工作流运行结束后，查看以下MaxCompute表是否有30天的数据：物料特征表：rec_sln_demo_item_table_preprocess_all_feature_v2 行为日志宽表：rec_sln_demo_behavior_table_preprocess_v2 用户特征表：rec_sln_demo_user_table_preprocess_...
2021年
并且因为大数据系统保证任务级别的ACID，当作业并发运行且操作的目标表相同时，可能会出现作业冲突。需要注意的是目前UPDATE/DELETE/MERGE INTO处于公测阶段，不收取计算费用，但公测期间也暂时不对您使用此功能用于生产的作业和数据提供...
Blackhole
类别 详情 支持类型 结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 是 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Blackhole连接器。语法结构 CREATE TABLE ...
创建隐私求交
您可以在 隐私求交 页面，通过虚拟宽表右侧的 运行状态 查看，也可以单击虚拟宽表右侧的 运行配置，在隐私求交详情页中查看。说明 任务执行成功，系统自动生成虚拟宽表，您可以使用生成的虚拟宽表进行多方安全建模。任务执行失败，您需根据...
通过DataWorks周期性导入MaxCompute数据最佳实践
在 SQL查询 页面，输入SQL语句创建分区表，单击 运行。本文以MaxCompute公共数据集public_data中的分区表dwd_product_movie_basic_info为例。dwd_product_movie_basic_info表结构示例如下。MaxCompute分区表DDL CREATE TABLE IF NOT EXISTS...
运行时介绍
不在此表中的运行时，表示目前没有该运行时的终止计划。如果您的函数所使用的运行时计划在未来60天内终止支持，函数计算 会通过电子邮件或阿里云站内消息通知您。名称 标识符 终止支持阶段一 终止支持阶段二 Node.js 12 nodejs12 无 无 ...
- 产品推荐
- 这些文档可能帮助您