需要提前部署 hadoop 并启动 1、解压软件包 cd /opt/software tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz mv spark-3.1.1-bin-hadoop3.2 /opt/module/spark-3.1.1 2、profile 配置

系统：windows 一、idea配置 idea新建maven项目，下载Scala插件，项目添加scala框架支持 二、pom.xml <dependencies> <dependency> <groupId>org.apache.spark</gro

常用命令 注：由于集群的根目录为/，以下涉及到集群目录的开头都要加/ hadoop fs -ls [集群目录] 查看目录 hdoop fs -cat [集群目录文件] 查看文件 hadoop fs -touch [集群文件] 在集群创建文件 hadoop fs -mkdir [集群目录] 在集群创建

动态ip：自动分配ip，设备重启ip会变化 静态ip：手动分配ip，设备重启ip不变 操作系统：centos 虚拟机软件：VMware 配置VMware 打开虚拟网络编辑器，选择VMnet8 设置子网IP，格式为192.168.x.0  x的范围是0~255，以下涉及到x的均为这个 设置子网掩码为

中国科学技术大学 https://pypi.mirrors.ustc.edu.cn/simple/ 清华 https://pypi.tuna.tsinghua.edu.cn/simple 阿里云 http://mirrors.aliyun.com/pypi/simple/ 豆瓣

设置root密码 sudo passwd root su root 修改sshd_config vim /etc/ssh/sshd_config #Port 22 开启22端口或修改为其他端口 #PermitRootLogin yes 允许root用户登录 #PasswordAuthentic