【郑州校区】大数据基础加强阶段1之Vmware、Linux 基础

1． VMware 虚拟网络

1.1 ． 虚拟网卡、虚拟交换机

当使用 VMware Workstation 安装一个虚拟机时就会自动安装一块虚拟网卡， 此外还可手动给虚拟机添加多块虚拟网卡。

交换机用于电（光）信号的转发。可以为接入交换机的任意两个网络节点提供独享的电信号通路。简单的理解可以把一些电脑连接在一起组成一个局域网。

安装 VMware Workstation 12 时就自动安装了 20 台虚拟交换机。

常用的交换机是 VMnet0、VMnet1、VMnet8，分别对应 VMware 的三种网络模式。

1.2 ． 虚拟网桥

网桥（Bridge）是一个局域网与另一个局域网之间建立连接的桥梁。它是扩

展网络和通信的手段，在各种传输介质中转发数据信号，扩展网络的距离。  在 VMware 中，只有创建的虚拟机所使用的虚拟网卡连接到 VMnet0 虚拟交换

机上才会应用虚拟网桥。

1.3 ． 虚拟 DHCP 服务器

在虚拟网卡连接到 VMnet1 或 VMnet8 虚拟交换机时，自动安装运行虚拟 DHCP

服务器并连接至这台虚拟交换机。

DHCP 服务器: （Dynamic Host Configuration Protocol, 动态主机配置协议），主要有两个用途：

1. 给内部网络自动分配 IP 地址；

2. 作为对所有计算机作中央管理的手段。

1.4 ． 虚拟 NAT 服务器

只在虚拟网卡连接到 VMnet8 (NAT)虚拟交换机时才自动安装运行虚拟 NAT

服务器，并连接至这台虚拟交换机。

NAT 服务器: （Network Address Translation, 网络地址转换）提供 NAT 功能的服务器：就是把在内部网络中使用的 IP 地址转换成外部网络中使用的 IP 地址，把不可路由的 IP 地址转化成可路由的 IP 地址，对外部网络隐蔽内部网。

1.5 ． 主机虚拟网卡

当我们安装 VMware Workstation 12 时，就会在我们的实体 PC 机器上安装主机虚拟网卡。

2． VMware 网络模式

2.1 ． Bridged(桥接)

桥接模式下，宿主机物理网卡（主机网卡）和虚拟网卡通过 VMnet0 虚拟交

换机进行桥接，物理网卡和虚拟网卡在拓扑图上处于同等地位，物理网卡和虚拟网卡处于同一个网段，虚拟交换机就相当于一台现实网络中的交换机,所以两个网卡的 IP 地址也要设置为同一网段。

至于是桥接到宿主机的无线网卡还是有线网卡取决于宿主机上网模式。

2.2 ． Host-only (主机)

Host-Only 模式下，虚拟系统网络是一个全封闭的网络，它唯一能够访问的

就是宿主机，但各个虚拟机内部可以互相通信。Host-Only 网络和 NAT 网络很相似，不同的地方就是 Host-Only 网络没有 NAT 服务，所以虚拟网络不能连接到

Internet。宿主机和虚拟机之间的通信是通过 VMware Network Adepter VMnet1 虚拟网卡来实现的。

2.3 ． NAT(网络地址转换)

NAT 模式下，虚拟机借助 NAT(网络地址转换)功能，通过宿主机器所在的网

络来访问公网。

在 NAT 网络中，会使用到 VMnet8 虚拟交换机，宿主机上的 VMware Network Adapter VMnet8 虚拟网卡被连接到 VMnet8 交换机上，来与虚拟机进行通信，但是 VMware Network Adapter VMnet8 虚拟网卡仅仅是用于和 VMnet8 虚拟交换机网段通信用的，它并不为 VMnet8 网段提供路由功能，处于虚拟 NAT 网络下的虚拟机是使用虚拟的 NAT 服务器连接的 Internet 的。

这时候，虚拟机和宿主机就可以实现互访了，若此时宿主机已经连接到了

Internet，那么虚拟机也就可以连上 Internet 了。VMware Network Adapter

VMnet8 虚拟网卡在这里仅仅是为 Host 和 NAT 虚拟网络下的虚拟机通信提供一个接口。所以，即便卸载掉这块虚拟网卡，虚拟机仍然是可以上网的，只是宿主机无法再访问 VMnet8 网段而已。

NAT 模式下，宿主机需要开启VMware NAT Service 和VMware DHCP Service。采用 NAT 模式最大的优势是虚拟系统接入互联网非常简单，你不需要进行任

何其他的配置，只需要宿主机器能访问互联网即可。 如果你想利用 VMware 安装一个新的虚拟系统，在虚拟系统中不用进行任何手工配置就能直接访问互联网， 建议你采用 NAT 模式。

         

3． VMware 虚拟机克隆

VMware 支持两种类型的克隆：完整克隆 链接克隆

完整克隆是和原始虚拟机完全独立的一个拷贝，它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。  

链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩短了创建克隆虚拟机的时间，同时还节省了宝贵的物理磁盘空间。通过链接克隆，可以轻松的为不同的任务创建一个独立的虚拟机。

一般使用虚拟机克隆大量复制虚拟机，用来进行集群服务器的搭建。克隆后需要修改的地方：

1、主机 hostname

vi /etc/sysconfig/network 修改原 hostname 为 newname hostname newname 让 hostname 立刻生效

2、虚拟网卡设备 MAC 地址

MAC 地址处于下面两个文件中。

/etc/udev/rules.d/70-persistent-net.rules

/etc/sysconfig/network-scripts/ifcfg-eth0

虚拟机虚拟网卡 MAC 地址可由下面进行设置：

3、 IP 地址

可以编译下面的文件进行修改：

/etc/sysconfig/network-scripts/ifcfg-eth0

修改完之后，重启网络或者重启机器。新的虚拟机就可以使用了。

service network restart reboot

         

4． SSH(安全外壳协议)

SSH 为 Secure Shell 的缩写,是一种网络安全协议，专为远程登录会话和其

他网络服务提供安全性的协议。通过使用 SSH，可以把传输的数据进行加密,有效防止远程管理过程中的信息泄露问题。

从客户端来看，有两种验证方式：基于密码、基于密钥

4.1 ． 用户名密码验证方式

说明：

（1） 当客户端发起 ssh 请求，服务器会把自己的公钥发送给用户；

（2） 用户会根据服务器发来的公钥对密码进行加密；

（3） 加密后的信息回传给服务器，服务器用自己的私钥解密，如果密码正确， 则用户登录成功。

4.2 ． 基于密钥的登录方式

说明：

（1） 首先在客户端生成一对密钥（公钥、私钥）；

（2） 客户端将生成的公钥拷贝到需要访问的服务端机器上；

（3） 当客户端再次发送一个连接请求，包括 ip、用户名；

（4） 服务端得到客户端的请求后，会到 authorized_keys 中查找，如果有相应的 IP 和用户，就会随机生成一个字符串，例如：qwer；

（5） 服务端将使用客户端拷贝过来的公钥对随机字符串 qwer 进行加密，然后发送给客户端；

（6） 得到服务端发来的消息后，客户端会使用私钥进行解密，然后将解密后的字符串发送给服务端；

（7） 服务端接受到客户端发来的字符串后，跟之前的字符串进行对比，如果一致，就允许免密码登录。

         

4.3 ． OpenSSH 使用

OpenSSH 是 SSH 协议的免费开源实现。

OpenSSH 由客户端和服务端的软件组成。服务端是一个守护进程(daemon)， 他在后台运行并响应来自客户端的连接请求。服务端一般是 sshd 进程，提供了对远程连接的处理。

客户端包含 ssh 程序以及像 scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的应用程序。

默认情况下，CentOS 系统会自带安装 OpenSSH 服务。

        使用示例： 配置 node-1 至 node-2 机器的免密登录。

a) 在 node-1 机器上

ssh-keygen -t rsa [dsa] 按四下回车

生成密钥文件和私钥文件 id_rsa,id_rsa.pub

b) 将公钥拷贝给 node-2 机器ssh-copy-id node-2

首次链接需要输入用户密码、验证成功后后续免密登陆。

         

5． 文件上传、下载

在涉及 Linux 相关的开发中，经常需要进行 linux 和 Windows 之间的文件、安装包等上传和下载操作。sftp 和 lrzsz 是使用比较广泛的两种方式。

5.1 ． SFTP

sftp 是 Secure File Transfer Protocol 的缩写，安全文件传送协议。可

以为传输文件提供一种安全的网络的加密方法。sftp 为 SSH 的其中一部分，本身没有单独的守护进程，使用 sshd 守护进程（端口号默认是 22）来完成相应的连接和答复操作。

SecureCRT 远程连接至 CentOS 后，按 alt+p 即可打开 sftp 会话窗口。常用的 sftp 命令有：

pwd 和 lpwd

pwd 是看 sftp 服务所在机器（即 CentOS）默认的当前目录

lpwd 是看 Windows 本地默认目录。

ls 和 lls

ls 查看 sftp 服务器默认当前目录下内容

lls 是看 Windows 默认当前目录下内容

put d:/sparksql_textdata.csv  

把 Windows 上文件上传到 sftp 服务器的默认当前目录下

         

         

get install.log.syslog

把 sftp 服务器当前目录下的文件下载到 windows 当前目录下

Help

帮助命令。列出 sftp 的使用方法。

5.2 ． lrzsz

lrzsz 是一款在 linux 里可代替 sftp 上传和下载的程序。

Centos 系统中，可直接 yum -y install lrzsz 程序会自动安装好，也可以下载安装包离线进行安装，详细参考附件资料。

上传文件：命令行输入 rz,打开上传文件会话窗口。

下载文件：sz 下载文件路径

传智播客·黑马程序员郑州校区地址

河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层

联系电话 0371-56061160/61/62

来校路线  地铁一号线梧桐街站A口出

【郑州校区】大数据基础加强阶段1之Vmware、Linux 基础

1． VMware 虚拟网络

1.1 ． 虚拟网卡、虚拟交换机

当使用 VMware Workstation 安装一个虚拟机时就会自动安装一块虚拟网卡， 此外还可手动给虚拟机添加多块虚拟网卡。

交换机用于电（光）信号的转发。可以为接入交换机的任意两个网络节点提供独享的电信号通路。简单的理解可以把一些电脑连接在一起组成一个局域网。

安装 VMware Workstation 12 时就自动安装了 20 台虚拟交换机。

常用的交换机是 VMnet0、VMnet1、VMnet8，分别对应 VMware 的三种网络模式。

1.2 ． 虚拟网桥

网桥（Bridge）是一个局域网与另一个局域网之间建立连接的桥梁。它是扩

展网络和通信的手段，在各种传输介质中转发数据信号，扩展网络的距离。  在 VMware 中，只有创建的虚拟机所使用的虚拟网卡连接到 VMnet0 虚拟交换

机上才会应用虚拟网桥。

1.3 ． 虚拟 DHCP 服务器

在虚拟网卡连接到 VMnet1 或 VMnet8 虚拟交换机时，自动安装运行虚拟 DHCP

服务器并连接至这台虚拟交换机。

DHCP 服务器: （Dynamic Host Configuration Protocol, 动态主机配置协议），主要有两个用途：

1. 给内部网络自动分配 IP 地址；

2. 作为对所有计算机作中央管理的手段。

1.4 ． 虚拟 NAT 服务器

只在虚拟网卡连接到 VMnet8 (NAT)虚拟交换机时才自动安装运行虚拟 NAT

服务器，并连接至这台虚拟交换机。

NAT 服务器: （Network Address Translation, 网络地址转换）提供 NAT 功能的服务器：就是把在内部网络中使用的 IP 地址转换成外部网络中使用的 IP 地址，把不可路由的 IP 地址转化成可路由的 IP 地址，对外部网络隐蔽内部网。

1.5 ． 主机虚拟网卡

当我们安装 VMware Workstation 12 时，就会在我们的实体 PC 机器上安装主机虚拟网卡。

2． VMware 网络模式

2.1 ． Bridged(桥接)

桥接模式下，宿主机物理网卡（主机网卡）和虚拟网卡通过 VMnet0 虚拟交

换机进行桥接，物理网卡和虚拟网卡在拓扑图上处于同等地位，物理网卡和虚拟网卡处于同一个网段，虚拟交换机就相当于一台现实网络中的交换机,所以两个网卡的 IP 地址也要设置为同一网段。

至于是桥接到宿主机的无线网卡还是有线网卡取决于宿主机上网模式。

2.2 ． Host-only (主机)

Host-Only 模式下，虚拟系统网络是一个全封闭的网络，它唯一能够访问的

就是宿主机，但各个虚拟机内部可以互相通信。Host-Only 网络和 NAT 网络很相似，不同的地方就是 Host-Only 网络没有 NAT 服务，所以虚拟网络不能连接到

Internet。宿主机和虚拟机之间的通信是通过 VMware Network Adepter VMnet1 虚拟网卡来实现的。

2.3 ． NAT(网络地址转换)

NAT 模式下，虚拟机借助 NAT(网络地址转换)功能，通过宿主机器所在的网

络来访问公网。

在 NAT 网络中，会使用到 VMnet8 虚拟交换机，宿主机上的 VMware Network Adapter VMnet8 虚拟网卡被连接到 VMnet8 交换机上，来与虚拟机进行通信，但是 VMware Network Adapter VMnet8 虚拟网卡仅仅是用于和 VMnet8 虚拟交换机网段通信用的，它并不为 VMnet8 网段提供路由功能，处于虚拟 NAT 网络下的虚拟机是使用虚拟的 NAT 服务器连接的 Internet 的。

这时候，虚拟机和宿主机就可以实现互访了，若此时宿主机已经连接到了

Internet，那么虚拟机也就可以连上 Internet 了。VMware Network Adapter

VMnet8 虚拟网卡在这里仅仅是为 Host 和 NAT 虚拟网络下的虚拟机通信提供一个接口。所以，即便卸载掉这块虚拟网卡，虚拟机仍然是可以上网的，只是宿主机无法再访问 VMnet8 网段而已。

NAT 模式下，宿主机需要开启VMware NAT Service 和VMware DHCP Service。采用 NAT 模式最大的优势是虚拟系统接入互联网非常简单，你不需要进行任

何其他的配置，只需要宿主机器能访问互联网即可。 如果你想利用 VMware 安装一个新的虚拟系统，在虚拟系统中不用进行任何手工配置就能直接访问互联网， 建议你采用 NAT 模式。

         

3． VMware 虚拟机克隆

VMware 支持两种类型的克隆：完整克隆 链接克隆

完整克隆是和原始虚拟机完全独立的一个拷贝，它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。  

链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩短了创建克隆虚拟机的时间，同时还节省了宝贵的物理磁盘空间。通过链接克隆，可以轻松的为不同的任务创建一个独立的虚拟机。

一般使用虚拟机克隆大量复制虚拟机，用来进行集群服务器的搭建。克隆后需要修改的地方：

1、主机 hostname

vi /etc/sysconfig/network 修改原 hostname 为 newname hostname newname 让 hostname 立刻生效

2、虚拟网卡设备 MAC 地址

MAC 地址处于下面两个文件中。

/etc/udev/rules.d/70-persistent-net.rules

/etc/sysconfig/network-scripts/ifcfg-eth0

虚拟机虚拟网卡 MAC 地址可由下面进行设置：

3、 IP 地址

可以编译下面的文件进行修改：

/etc/sysconfig/network-scripts/ifcfg-eth0

修改完之后，重启网络或者重启机器。新的虚拟机就可以使用了。

service network restart reboot

         

4． SSH(安全外壳协议)

SSH 为 Secure Shell 的缩写,是一种网络安全协议，专为远程登录会话和其

他网络服务提供安全性的协议。通过使用 SSH，可以把传输的数据进行加密,有效防止远程管理过程中的信息泄露问题。

从客户端来看，有两种验证方式：基于密码、基于密钥

4.1 ． 用户名密码验证方式

说明：

（1） 当客户端发起 ssh 请求，服务器会把自己的公钥发送给用户；

（2） 用户会根据服务器发来的公钥对密码进行加密；

（3） 加密后的信息回传给服务器，服务器用自己的私钥解密，如果密码正确， 则用户登录成功。

4.2 ． 基于密钥的登录方式

说明：

（1） 首先在客户端生成一对密钥（公钥、私钥）；

（2） 客户端将生成的公钥拷贝到需要访问的服务端机器上；

（3） 当客户端再次发送一个连接请求，包括 ip、用户名；

（4） 服务端得到客户端的请求后，会到 authorized_keys 中查找，如果有相应的 IP 和用户，就会随机生成一个字符串，例如：qwer；

（5） 服务端将使用客户端拷贝过来的公钥对随机字符串 qwer 进行加密，然后发送给客户端；

（6） 得到服务端发来的消息后，客户端会使用私钥进行解密，然后将解密后的字符串发送给服务端；

（7） 服务端接受到客户端发来的字符串后，跟之前的字符串进行对比，如果一致，就允许免密码登录。

         

4.3 ． OpenSSH 使用

OpenSSH 是 SSH 协议的免费开源实现。

OpenSSH 由客户端和服务端的软件组成。服务端是一个守护进程(daemon)， 他在后台运行并响应来自客户端的连接请求。服务端一般是 sshd 进程，提供了对远程连接的处理。

客户端包含 ssh 程序以及像 scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的应用程序。

默认情况下，CentOS 系统会自带安装 OpenSSH 服务。

        使用示例： 配置 node-1 至 node-2 机器的免密登录。

a) 在 node-1 机器上

ssh-keygen -t rsa [dsa] 按四下回车

生成密钥文件和私钥文件 id_rsa,id_rsa.pub

b) 将公钥拷贝给 node-2 机器ssh-copy-id node-2

首次链接需要输入用户密码、验证成功后后续免密登陆。

         

5． 文件上传、下载

在涉及 Linux 相关的开发中，经常需要进行 linux 和 Windows 之间的文件、安装包等上传和下载操作。sftp 和 lrzsz 是使用比较广泛的两种方式。

5.1 ． SFTP

sftp 是 Secure File Transfer Protocol 的缩写，安全文件传送协议。可

以为传输文件提供一种安全的网络的加密方法。sftp 为 SSH 的其中一部分，本身没有单独的守护进程，使用 sshd 守护进程（端口号默认是 22）来完成相应的连接和答复操作。

SecureCRT 远程连接至 CentOS 后，按 alt+p 即可打开 sftp 会话窗口。常用的 sftp 命令有：

pwd 和 lpwd

pwd 是看 sftp 服务所在机器（即 CentOS）默认的当前目录

lpwd 是看 Windows 本地默认目录。

ls 和 lls

ls 查看 sftp 服务器默认当前目录下内容

lls 是看 Windows 默认当前目录下内容

put d:/sparksql_textdata.csv  

把 Windows 上文件上传到 sftp 服务器的默认当前目录下

         

         

get install.log.syslog

把 sftp 服务器当前目录下的文件下载到 windows 当前目录下

Help

帮助命令。列出 sftp 的使用方法。

5.2 ． lrzsz

lrzsz 是一款在 linux 里可代替 sftp 上传和下载的程序。

Centos 系统中，可直接 yum -y install lrzsz 程序会自动安装好，也可以下载安装包离线进行安装，详细参考附件资料。

上传文件：命令行输入 rz,打开上传文件会话窗口。

下载文件：sz 下载文件路径

传智播客·黑马程序员郑州校区地址

河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层

联系电话 0371-56061160/61/62

来校路线  地铁一号线梧桐街站A口出