Spark3集群与IDEA远程运行

Spark集群及IDEA远程运行Local模式单节点完成全部工作，一般用于调试、演示等，优点是方便，缺点是单机性能有限解压Spark并配置环境变量即可使用（WIndows环境下还需要相应版本的winutils）spark-shell启动本地模式Standalone模式Spark自身的主从模式。集群规

Hadoop3 HA高可用集群搭建

Hadoop3 HA高可用集群搭建集群规划以下节点加入集群10.160.9.11 node91110.160.9.12 node91210.160.9.13 node91310.160.9.14 node91410.160.9.15 node91510.160.9.16 node91610.160.

大数据集群环境搭建

大数据集群环境搭建版本信息Red Hat Enterprise Linux Server release 7.4JDK1.8Hadoop3.2.0Spark3.2.0Hive3.2.1Python3.8.5配置集群root用户互信配置hostnamereadonly prefix_ip="

Hive3.1.2安装配置（Linux和Windows）

Hive3.1.2安装配置LinuxLinux上的安装配置都比较简单安装配置安装配置Hadoop，hadoop配置参考安装hive3.1.2，配置环境变量建议将conf文件夹中日志的properties文件配置下，方便排查错误默认元数据存储启动元数据默认存储在derby中启动hdfs执行以下命令初始

虚拟机搭建hadoop集群

虚拟机搭建hadoop集群创建三台虚拟机使用vmware创建三台虚拟机centos1、centos2、centos3配置虚拟机网络，/etc/sysconfig/network-scripts/ifcfg-ens32TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY