当前位置: 首页 > news >正文

presto配置

presto启动时默认配置文件目录在安装目录下的etc下

每个节点的配置

在etc下创建node.properties文件,配置如下:

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/presto/data

node.environment: 集群名字,一个集群内所有的节点必须一致。

node.id: 节点id,每个节点同一集群内保持唯一。

node.data-dir:节点数据目录,数据目录用于存放日志和服务的pid。

服务配置

presto server分为coordinator和worker,coordinator可以认为是master节点,worker可以认为是计算节点。配置时在etc下创建config.properties文件。

coordinator配置如下:

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=3GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080

worker配置如下:

coordinator=false
http-server.http.port=8080
query.max-memory=3GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://example.net:8080

coordinator:是coordinator角色还是worker角色。

node-scheduler.include-coordinator:计算节点是否包含coordinator,主要用于单机测试。

http-server.http.port:服务启动的端口号。

discovery-server.enabled:节点是否作为发现节点的web服务。分发任务时,用于发现计算节点,每个计算节点启动时会在其上注册。

discovery.uri:发现节点的web服务地址,一般和coordinator部在一起。

query.max-memory:每个查询可以用的最大内存。

query.max-memory-per-node:每个查询每台计算节点可以用的最大内存。

query.max-total-memory-per-node:每个查询每台计算节点可以用的总的最大内存,包括查询任务用的内存和系统消耗的内存。

配置jvm启动参数

在etc下创建jvm.config文件

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

配置catalog

presto通过connector访问数据,connector配置在catalog里。presto内置的不同类型的connector,放在安装目录的plugins下。catalog的配置在etc/catalog/下,以hive为例,我们添加一个名字是hive的catalog,则在etc/catalog下创建hive.properties文件,配置如下:

hive.metastore.uri=thrift://example.meta:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

通过命令行访问时使用--catalog指定catalog。

配置服务日志级别

在etc下创建log.properties文件,配置如下:

com.facebook.presto=DEBUG

日志文件放在data/var/log下。

服务管理

启动

./bin/launcher start

停止

./bin/launcher stop

重启

./bin/launcher restart

动态catalog

https://www.cnblogs.com/xiaoxin101/p/13363562.html

https://www.imooc.com/video/19268

参考链接:

Presto 官方版 单机和集群安装与使用https://blog.csdn.net/qq_36160730/article/details/108614860?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2allsobaiduend~default-1-108614860.nonecase&utm_term=2020%20presto%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2&spm=1000.2123.3001.4430

https://blog.csdn.net/qq_32447301/article/details/89430750

docker 集群部署:https://github.com/Lewuathe/docker-presto-cluster

http://www.hskmm.com/?act=detail&tid=29726

相关文章:

  • Hadoop--MapReduce
  • Hadoop--yarn
  • AI元人文构想框架体系
  • [DAX/数据分析表达式/Power BI] DAX 查询视图语言 = `Data Analysis eXpressions`(数据分析表达式) = 编程式数据分析语言
  • Hadoop--HDFS-HA高可用
  • Hadoop--HDFS
  • Redis总结
  • 函数柯里化
  • 防抖与节流
  • 大数据概述
  • 10月——算法竞赛回坑杂记
  • 20232308 2025-2026-1 《网络与系统攻防技术》实验一实验报告
  • Redis知识点汇总
  • 乐理 -05 乐音 乐级
  • Redis实现分布式锁以及Redis客户端比较
  • 一致性哈希原理
  • 缓存和数据库数据的一致性
  • Redis不同数据类型代码场景实践
  • 布隆过滤器
  • Redis持久化
  • 上下文与this指向
  • [数据库] Microsoft SQL Server 数据库
  • 02 | 在环境中使用Airsim插件
  • 01 | UE5.3+Airsim+VS2022+Windows10(无人机仿真环境)
  • 对于使用ant design组件库的疑问
  • 阅读《构建之法》提出的5个问题
  • 提示工程介绍
  • DshanPI-A1 RK3576 gstreamer播放16路视频与硬件加速
  • freertos的调度过程
  • 「2025 高一上学期笔记 / 日记」