MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
SQL命令管理数据库
更改数据库注意事项 您可以更改数据库的大部分属性，但请不要执行如下操作：不能将数据库移动到错误的文件路径。例如，若您执行如下命令并指定了错误的文件路径：ALTER DATABASE[TestDb]MODIFY FILE(NAME=N'TestDb',FILENAME=N'E:\KKKK\DDD...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
ALL_TYPE_ATTRS
ALL_TYPE_ATTRS视图提供了数据库中所有对象类型的属性信息。简介 all_type_attrs 是 PolarDB PostgreSQL版（兼容Oracle）中的一个数据字典视图。该视图提供了数据库中所有对象类型的属性信息。所谓对象类型，是指用户自定义的数据类型，...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
ALTER DATABASE
ALTER DATABASE 更改一个数据库的属性。简介 ALTER DATABASE 更改一个数据库的属性。第一种形式更改某些针对每个数据库的设置。只有数据库拥有者或者超级用户可以更改这些设置。第二种形式更改数据库的名称。只有数据库拥有者或者超级用户...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
物模型数据解析使用示例
{"id":"12345","version":"1.0","code":200,"method":"thing.event.property.post","data":{} } 数据解析引擎会将JSON格式数据转换为以下数据：0x0200003039c8 模拟解析生活物联网平台下发的属性设置数据。选择模拟类型为 设备接收数据，...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
提交物模型消息解析脚本
{"id":"12345","version":"1.0","code":200,"method":"thing.event.property.post","data":{} } 数据解析引擎会将JSON格式数据转换为以下数据：0x0200003039c8 模拟解析物联网平台下发的属性设置数据。选择模拟类型为 设备接收数据，输入...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
产品节点
下发设置属性的数据格式如下：{"properties":{"目标属性1的标识符":"目标值","目标属性2的标识符":"目标值"} } 选择要查询的属性 当操作类型选择为 查询设备属性 时出现的字段。可选择全部属性或某个具体属性。查询维度 当操作类型选择为 ...
基本对象概念
成员方法可访问它们运行所在的对象实例的属性，并且可更改这些属性。静态方法 – 独立于任何特定对象实例运行的存储过程或函数。静态方法无法访问并且无法改变对象实例的属性。构造函数方法 – 用于创建对象类型的实例的函数。默认构造函数...
数据版本和生命周期
最大版本数 最大版本数（Max Versions）表示数据表中的属性列能够保留数据的最大版本个数。当属性列中数据的版本个数超过设置的最大版本数时，系统会自动异步删除较早版本的数据。重要 当前 表格存储 未限制最大版本数。但是出于性能与易用...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
性能优化
通过性能分析，您可以对查询执行中涉及到的数据分布情况有明确了解（例如超级顶点、随机查询大量数据、属性过滤等比较耗时的数据）。查询请求示例：g.V().out().limit(10).profile()返回数据示例：=>Traversal Metrics Step Count ...
Napatech案例
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
数据导入
本文介绍导入数据量大或数据属性复杂时，可以使用的解决方法，帮助您更快地导入数据。导入方法 图数据库GDB支持如下三种导入方法，具体请参见 数据导入简介。从阿里云云存储对象（OSS）导入数据。使用DataWorks数据集成同步数据到GDB。使用...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
设备期望属性值
params List 要获取期望值的属性标识符（Identifier）列表。如示例中列举了两个属性的标识符：["power","temperature"]如果是自定义模块属性，属性标识符格式为 模块标识符:属性标识符（中间为英文冒号）。示例：["test:power","test:...
1.0数据类型版本
定义 项目空间选择数据类型版本为1.0数据类型版本时，项目的数据类型属性定义如下。setproject odps.sql.type.system.odps2=false;关闭MaxCompute 2.0数据类型。setproject odps.sql.decimal.odps2=false;关闭Decimal 2.0数据类型。...
管理视图
或者在视图列表中双击目标视图名进入视图管理页面，您可以在视图管理页面的 属性和数据页签。结构树 如下图所示，在视图列表中单击目标视图名前的下弹标志会在弹出的下拉列表中展示其结构树，对象视图的结构树最深有三层，右键结构树中不同...
配置属性
移动分析平台预置了一些常用属性，同时支持根据业务需要自定义一些应用于 App 全局的属性，以便在配置具体分析事件时进行关联。创建属性 操作步骤如下：登录 mPaaS 控制台，选择目标应用后，从左侧导航栏进入 移动分析>自定义分析>事件与...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
Query级别诊断结果
找到扫描数据量较大的表扫描算子后，您可以考虑如下方式进行调优：在查询中增加AND过滤条件。调整已有的过滤条件，减少过滤后的数据量。检查是否存在没有下推的过滤条件。若存在，请参见 过滤条件没有下推 中的建议进行优化。
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
JSON
JSON格式要求 AnalyticDB for MySQL 对JSON数据中的属性键 key 和属性值 value 有如下要求：属性键 key 必须使用双引号（""）将 key 引起来，例如 {"addr":"xyz"} 中的"addr。属性值 value 属性值 value 支持的数据类型为：BOOLEAN、NUMBER...
推荐场景
个性化推荐基于用户的历史行为习惯，商品、电影本身的属性等数据集，这些数据之间相互关联，应用推荐策略时需要利用这些数据之间复杂的关联关系，因此使用图数据库来存储这些数据是非常合适的。建模 本文以书籍的个性化推荐举例，来说明...
点热力层（v3.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
- 产品推荐
- 这些文档可能帮助您