Hive总结

Hive以下是对尚硅谷Hive3.1教程的个人总结Hive基本概念基于Hadoop的数据仓库工具，本质上是将结构化的数据文件映射为一张表，提供类似SQL的查询功能。数据存储在HDFS。查询分析数据底层的默认实现是MapReduce。执行程序运行在Yarn上。Hive优缺点优点避免写MapReduce

Python配置Jupyter环境

Python配置Jupyter环境安装Jupyter及插件pip3.8 install jupyterpip install jupyter_contrib_nbextensions jupyter contrib nbextension install --userpip install jupy

centos7升级gcc8

centos7升级gcc8.5.0源码编译安装gcc4.8.5虚拟机最小化安装的centos7，没有gcc，安装yum源默认的gcc4.8.5用于编译更高版本的gcc。yum updateyum install -y gcc gcc-c++gcc -v # 4.8.5查看缺失依赖mkdir gcc-

Docker部署Halo1.x博客

# Docker部署Halo1.x软件版本Halo1.6.1，1.x最终版Java11MySQL8.0.32Redis7.0.10Nginx1.23.3准备镜像制作Halo镜像，也可官网下载，此处基于ubuntu自制镜像。FROM ubuntu MAINTAINER windcf<chunf

无限debugger绕过，某意见反馈网站逆向分析

目标地址：aHR0cDovL3p3Zncuc2FuLWhlLmdvdi5jbi9pY2l0eS9pY2l0eS9ndWVzdGJvb2svaW50ZXJhY3Q=点击下一页，即可抓包查看接口，但是一打开调试工具，马上开始debugger，点击下一步，又会被断到另一个 debugger 的位置，这种情

Spark3集群与IDEA远程运行

Spark集群及IDEA远程运行Local模式单节点完成全部工作，一般用于调试、演示等，优点是方便，缺点是单机性能有限解压Spark并配置环境变量即可使用（WIndows环境下还需要相应版本的winutils）spark-shell启动本地模式Standalone模式Spark自身的主从模式。集群规

Hadoop3 HA高可用集群搭建

Hadoop3 HA高可用集群搭建集群规划以下节点加入集群10.160.9.11 node91110.160.9.12 node91210.160.9.13 node91310.160.9.14 node91410.160.9.15 node91510.160.9.16 node91610.160.

大数据集群环境搭建

大数据集群环境搭建版本信息Red Hat Enterprise Linux Server release 7.4JDK1.8Hadoop3.2.0Spark3.2.0Hive3.2.1Python3.8.5配置集群root用户互信配置hostnamereadonly prefix_ip="

Hive3.1.2安装配置（Linux和Windows）

Hive3.1.2安装配置LinuxLinux上的安装配置都比较简单安装配置安装配置Hadoop，hadoop配置参考安装hive3.1.2，配置环境变量建议将conf文件夹中日志的properties文件配置下，方便排查错误默认元数据存储启动元数据默认存储在derby中启动hdfs执行以下命令初始

Scala学习记录

Scala学习记录记录一下Scala与Java不同的地方。首先Scala是一种完全面向对象的语言，一切皆对象，针对Java中不那么面向对象和设计上的缺陷作了改变。字符串格式化printf("%s %.2f\n", "dsf", 2.782123f)val x: