PyODPS查看一级分区
insert overwrite table user_detail partition(dt,region)select userid,job,education,dt,region from user_detail_ods;单击 运行，将数据插入到分区表 user_detail 中。使用PyODPS查看一级分区。登录 DataWorks控制台。在左侧导航栏，...
DELETE
DELETE FROM delete_test AS dt WHERE dt.b is null;DELETE FROM delete_test AS dt WHERE dt.b='';更多关于DELETE的详情，请参见 PostgreSQL DELETE。常见问题 在执行DELETE命令时，为什么监控指标中存储用量上涨非常多，写入完成后存储...
DROP TABLE
删除表。使用说明 Lindorm宽表引擎版本为2.2.16至2.4.1时，需要先手动执行 OFFLINE TABLE，才能执行DROP TABLE。OFFLINE TABLE的用法，请参见 OFFLINE TABLE。...DROP TABLE dt;DROP TABLE IF EXISTS dt;DROP TABLE my_schema.dt;
迁移Hive表和分区数据到OSS-HDFS服务
sudo jindotable-moveTo-t tdb.test_table-d hdfs:/<hdfs-path>/user/hive/warehouse/tdb.db/test_table-c"dt>'v'"返回结果如下：No successfully moved partition.Failed partitions:dt=value-2 New location is not empty but-overWrite ...
Dataphin即席查询执行报错："Failed to parse cav,...
问题描述 Dataphin即席查询执行报错："Failed to ...39)at com.alibaba.dt.oneservice.sdk.OdpsSqlExecutor.getExecuteResults(OdpsSqlExecutor.java:280)at com.alibaba.dt.oneservice.sdk.OdpsTask.getTaskResults(OdpsTask.java:334)at ...
Python SDK使用说明
data_type：输入Tensor的DataType，支持以下类型：TFRequest.DT_FLOAT TFRequest.DT_DOUBLE TFRequest.DT_INT8 TFRequest.DT_INT16 TFRequest.DT_INT32 TFRequest.DT_INT64 TFRequest.DT_STRING TFRequest.TF_BOOL content：输入Tensor的...
数据查询报错“Ambiguous method for class com.alibaba.dt.dataphin.data
FAILED:SemanticException[Error 10014]:Line 3:84 Wrong arguments 'TELPHONE':Ambiguous method for class com.alibaba.dt.dataphin.datasecurity.common.udf.hive.desensitization.simple.MobilePhone with(varchar(15)).Possible ...
在DTS迁移或同步任务中配置ETL
例如 script:e_set(`new_column`,dt_now())，此处 new_column 需要您手动在目标端添加。操作步骤 创建同步任务，具体请参见 同步方案概览。在 配置任务对象及高级配置 步骤的 高级配置 中，配置ETL功能 选择 是，在输入框中按照 数据处理...
DT-MPC v3.1
本文为您介绍智能控制的DT-MPC算法组件。DT-MPC是一款先进的控制组件，可以实现以下功能：多变量系统的自动控制 解决流程行业内多变量系统协同控制这一难题而开发的一款安全便捷高效的智能控制组件。其运用先进控制技术，通过系统操控变量...
通过外表导入至湖仓版
独享数据传输服务资源组的计费规则请参见 独享数据传输服务资源组定价。使用独享数据传输服务资源组，为项目配置后，该资源仅供当前项目使用，减少数据访问和导入时间，提供更高的数据传输速度。示例数据 本文示例中的MaxCompute项目为 ...
Dataphin中ClickHouse数据源DELETE准备语句执行报错
问题描述 Dataphin中ClickHouse数据源DELETE准备语句执行报错。2023-01-04 17:20:29.324-voldemort task ...INFO ConcurrentFileSystemManager-Using"/tmp/vfs_cache"as temporary files store.2023/01/04 17:20:32-General-Plugin class ...
报警信息说明
物联网平台：IoT孪生引擎服务 类目代码 说明 dt_data_calculation_dt_instance_tps 孪生规则计算孪生实例TPS。dt_data_calculation_tps 孪生规则计算TPS。dt_data_forward_dt_instance_tps 孪生数据流转孪生实例TPS。dt_data_forward_tps ...
二级索引
select*from dt where c2='b' and c3>='c' and c3表示选择索引表idx2，由于是select*，而索引表里并未包含主表的所有列，因此在查询索引之后，还要回查一次主表。回查主表时，回查的Rowkey可能散布在主表的各个地方，因此，可能会消耗多次...
DDL语句
create table if not exists h_p0(id bigint,name string,dt string，hh string)using hudi location 'oss:/xxx/h_p0' options(type='cow',primaryKey='id',preCombineField='id')partitioned by(dt,hh);说明 本文代码示例中的 location 为...
ST_Density
语法 integer[]ST_Density(trajectory traj,float dr,interval dt);参数 参数名称 描述 traj 待计算的轨迹对象。dr 邻域的空间范围。dt 邻域的时间范围。描述 对每一个轨迹点，找到其邻域内属于此轨迹的总采样点数量。当一个采样点距离选定...
ST_Density
语法 integer[]ST_Density(trajectory traj,float dr,interval dt);参数 参数名称 描述 traj 待计算的轨迹对象。dr 邻域的空间范围。dt 邻域的时间范围。描述 对每一个轨迹点，找到其邻域内属于此轨迹的总采样点数量。当一个采样点距离选定...
血缘关系
INSERT OVERWRITE TABLE dw_user_info_all_d PARTITION(dt='${bdp.system.bizdate}')SELECT COALESCE(a.uid,b.uid)AS uid,b.gender,b.age_range,b.zodiac,a.region,a.device,a.identity,a.method,a.url,a.referer,a.time FROM(SELECT*FROM ...
ST_Density
语法 integer[]ST_Density(trajectory traj,float dr,interval dt);参数 参数名称 描述 traj 待计算的轨迹对象。dr 邻域的空间范围。dt 邻域的时间范围。描述 对每一个轨迹点，找到其邻域内属于此轨迹的总采样点数量。当一个采样点距离选定...
使用限制说明
支持的条件表达式 OR或者AND LIKE或者NOT LIKE IS NULL或者NOT NULL BETWEEN XX AND XX 支持数量符号：=、>、<、>=、、<>IN或者NOT IN 支持GROUP BY分组 SELECT c1,Sum(c2)FROM dt WHERE p2 IN('a','b')GROUP BY c1;支持ORDER BY排序 ...
DELETE
DELETE语法用来删除表中的行数据，可指定过滤条件。语法 DELETE FROM table_name WHERE where_clause;示例 DELETE FROM dt WHERE p1=10 AND p2=20;DELETE FROM dt WHERE p1>10;
使用EasyRec读取Hive表
insert into pai_online_projects.easyrec_demo_taobao_train_data_parquet partition(dt='yyyymmdd')select clk,buy,pid,adgroup_id,cate_id,campaign_id,customer,brand,user_id,cms_segid,cms_group_id,final_gender_code,age_level,...
DROP TABLE
DROP TABLE语法用来删除搜索表。语法 DROP TABLE[IF EXISTS]table_name;参数 参数 描述 table_name 需要删除的表名。示例 DROP TABLE dt;DROP TABLE IF EXISTS dt;
CREATE TABLE
CREATE TABLE dt_partition(storeId integer,goodsId varchar,goodsPrice integer,orderTime bigint,constraint pk primary key(storeId))PARTITION BY RANGE TIME(orderTime)PARTITIONS 16 WITH(RANGE_TIME_PARTITION_START='30',RANGE_...
离线调度
alter table ad add if not exists partition(dt='20160919')partition(dt='20160920');本工作流数据表 ad 的示例如下。您可以使用Tunnel命令导入分区表数据。具体操作，请参见 导入数据。id age sex duration place ctr dt 0 49 1 9 0 0 ...
搜索索引介绍
示例如下，为dt表的c1,c2,c3列创建搜索索引 idx，c1,c2,c3列没有顺序要求，c3指定按照IK分词器进行分词。CREATE INDEX idx USING SEARCH ON dt(c1,c2,c3(type=text,analyzer=ik));搜索索引可以满足以下业务需求：多维组合查询。c1,c2,c3列...
Dataphin即席查询中查询汇总逻辑表报错"select*from ...
完整的报错信息如下：Error Code:DPN.OS.NotAllowSelectStarFromDws Error Message:select*from logical aggregate table({0})is not allowed com.alibaba.dt.oneservice.api.exception.OsBizException: select*from logical aggregate ...
计费命令参考
本文介绍常用的计费命令。下表是一些常用的计费命令，供您参考。语法表达式 用途 是否收费 样例 TUNNEL DOWNLOAD 下载数据（经典网络）否 TUNNEL DOWNLOAD table_name e:/table_name.txt;配置经典网络Endpoint：...
通过跨库Spark SQL任务将数据同步到OSS
gmt_modified timestamp COMMENT '修改时间',customer_id bigint COMMENT '客户id',price decimal(38,8)COMMENT '价格',status string COMMENT '订单状态',province string COMMENT '交易省份',dt string comment '业务日期分区')...
Ganos函数列表
ST_{2D|2DT|3D|3DT}DWithin_IndexLeft ST_ndDwithin_IndexLeft函数，判断指定的两个对象在指定的坐标轴上是否距离小于等于某一给定值，并指定使用第一个参数所在的列的索引。ST_{T|2D|2DT|3D|3DT}Contains ST_ndContains函数，判断第一个...
TRUNCATE TABLE
通过TRUNCATE TABLE语法可以清空表内的数据。云原生多模数据库 Lindorm 2.2.16版本后为了防止误清空表的数据，必须先执行OFFLINE TABLE后才能执行TRUNCATE TABLE。...示例 TRUNCATE TABLE dt;TRUNCATE TABLE my_schema.dt;
单元测试报告
5 指标特性检查 值域范围检查 x_jredw_da_drawndn_ovd_date_info Prin_Ovd_Start_Dt Prin_Ovd_Start_Dt<=Prin_Ovd_End_Dt,Inte_Ovd_Start_Dt<=Inte_Ovd_End_Dt 检查业务逻辑正确性。测试结果 测试结果备注 是否转化监控 监控阈值 创建日期 ...
开发自定义组件示例
groupId>com.alibaba.dt.pipeline</groupId> <artifactId>plugin.center.base</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency>代码示例如下。package demo;import ...
开发自定义组件示例
groupId>com.alibaba.dt.pipeline</groupId> <artifactId>plugin.center.base</artifactId> <version>0.0.1-SNAPSHOT</version> </dependency>代码示例如下。package demo;import ...
ALTER TABLE
partition_spec:(partition_column=partition_col_value,partition_column=partition_col_value,.)示例 alter table test_opencsv_part add partition(dt='bar')location 'oss:/bucket001/datasets/test/test_opencsv_part/dt=foo/';...
CDC测试
测试结果 TPC-C 参考指标（tpmC）DT（单位：ms）BPS（单位：Mbyte/s）EPS（单位：个/s）TPS（单位：个/s）260293.98 60 65 307403 9078 515425.45 80 128 601757 17980 783525.69 100 197 956529 27935 1087352.38 120 270 1292464 38867 ...
GisT索引
trajgist_ops_2dt 对x、y、t轴范围建立索引，支持二维、时间，以及混合查询。trajgist_ops_3d 对x、y、z轴范围建立索引，支持二维、三维、z轴查询。trajgist_ops_3dt 对x、y、z、t轴范围建立索引，支持以上全部查询。trajgist_ops_multi ...
Dataphin中代码任务运行报错“Logical table ...
问题描述 Dataphin中代码任务运行报错“Logical table translate failed：Failed to validate Table XXX Partition XXX Consistent of Column:[XXX]”完整的报错信息如下：!SQL Failed!Error Code:DPN.Os.LogicalTableTranslateFailed ...ID]...
调用函数清洗数据
e_set("time1","2019-06-03 2:41:26")e_set("time2",dt_totimestamp(dt_parse(v("time1"))))或 e_set("time2",dt_parsetimestamp(v("time1")))加工结果 time1:2019-06-03 2:41:26 time2:1559529686 场景5：为日志不存在的字段填充默认值...
DELETE
本文介绍删除时空数据表中的时空数据语法。语法 delete_statement:=DELETE FROM table_name WHERE where_clause 说明 Where_Clause必须可以唯一限定一行数据。...示例 删除时空数据表 dt 中 id=1 的时空数据。DELETE from dt WHERE id=1;
GisT索引
trajgist_ops_2dt 对x、y、t轴范围建立索引，支持二维、时间，以及混合查询。trajgist_ops_3d 对x、y、z轴范围建立索引，支持二维、三维、z轴查询。trajgist_ops_3dt 对x、y、z、t轴范围建立索引，支持以上全部查询。trajgist_ops_multi ...
- 产品推荐
- 这些文档可能帮助您