Hadoop集群与安全【2025|PDF下载-Epub版本|mobi电子书|kindle百度云盘下载】

Hadoop集群与安全PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 构建Hadoop集群1

1.1 选择Hadoop集群硬件2

1.1.1 选择DataNode硬件3

1.1.2 低存储密度集群4

1.1.3 高存储密度集群5

1.1.4 NameNode和 JobTracker硬件配置6

1.1.5 网关和其他辅助服务8

1.1.6 网络配置8

1.1.7 Hadoop硬件总结9

1.2 Hadoop发行版10

1.2.1 Hadoop版本10

1.2.2 选择Hadoop发行版11

1.2.3 Cloudera Hadoop发行版11

1.2.4 Hortonworks Hadoop发行版12

1.2.5 MapR12

1.3 为Hadoop集群选择操作系统13

1.4 小结14

第2章 安装和配置Hadoop15

2.1 在Hadoop集群中配置操作系统15

2.1.1 选择和设置文件系统15

2.1.2 设置Java开发包16

2.1.3 其他操作系统设定17

2.1.4 设置CDH存储库18

2.2 设置NameNode18

2.2.1 JournalNode节点、ZooKeeper以及故障转移控制器22

2.2.2 Hadoop配置文件23

2.2.3 NameNode高可用方案配置25

2.2.4 JobTracker配置31

2.2.5 DataNode配置36

2.3 小结47

第3章 配置Hadoop生态系统48

3.1 托管Hadoop生态项目48

3.2 Sqoop49

3.2.1 安装和配置Sqoop49

3.2.2 Sqoop导入示例50

3.2.3 Sqoop导出示例52

3.3 Hive52

3.3.1 Hive架构53

3.3.2 安装Hive Metastore54

3.3.3 安装Hive客户端56

3.3.4 安装Hive Server57

3.4 Impala59

3.4.1 Impala架构59

3.4.2 安装Impala state store60

3.4.3 安装Impala server60

3.5 小结63

第4章 Hadoop安全64

4.1 Hadoop安全概述64

4.2 Hadoop分布式文件系统安全65

4.3 MapReduce安全66

4.4 Hadoop服务级别验证68

4.5 Hadoop和Kerberos69

4.5.1 Kerberos概述70

4.5.2 Hadoop中的 Kerberos71

4.6 小结76

第5章 监控Hadoop集群77

5.1 监控策略介绍77

5.2 Hadoop参数78

5.2.1 JMX参数79

5.2.2 使用Nagios监控Hadoop80

5.2.3 监控Hadoop分布式文件系统81

5.2.4 NameNode校验81

5.2.5 JournalNode检查83

5.2.6 ZooKeeper检查83

5.3 监控MapReduce84

5.4 使用Ganglia监控Hadoop85

5.5 小结86

第6章 在云端使用Hadoop87

6.1 Amazon E1astic MapReduce87

6.1.1 安装EMR命令行接口88

6.1.2 选择Hadoop版本89

6.1.3 启动EMR集群89

6.2 使用Whirr93

6.3 小结94

第7章 Hadoop平台安全概述95

7.1 为什么需要保障Hadoop生态系统的安全96

7.2 确保Hadoop生态系统安全面临的挑战96

7.3 关键安全因素97

7.4 小结99

第8章 Hadoop安全体系设计100

8.1 什么是Kerberos100

8.1.1 Kerberos关键术语101

8.1.2 Kerberos如何工作102

8.1.3 Kerberos的优点103

8.2 不采用Kerberos的Hadoop默认安全模型103

8.3 Hadoop Kerberos安全模型实现105

8.3.1 用户层次的访问控制105

8.3.2 服务层次的访问控制105

8.3.3 用户和服务认证106

8.3.4 授权令牌106

8.3.5 作业令牌106

8.3.6 数据块访问令牌107

8.4 小结108

第9章 配置一个安全Hadoop集群109

9.1 前提条件109

9.2 设置Kerberos110

9.3 配置Hadoop使用Kerberos认证117

9.3.1 在所有Hadoop节点设置Kerberos客户端117

9.3.2 配置Hadoop服务标识118

9.4 Hadoop用户设置124

9.5 安全Hadoop自动部署124

9.6 小结125

第10章 Hadoop生态系统安全保障126

10.1 为Hadoop 生态系统组件配置Kerberos127

10.1.1 Hive安全设置127

10.1.2 Oozie安全设置130

10.1.3 Flume安全设置131

10.1.4 HBase安全设置134

10.1.5 Sqoop安全设置137

10.1.6 Pig安全设置138

10.2 Hadoop生态系统组件安全保障最佳实践138

10.3 小结139

第11章 集成Hadoop与企业安全系统140

11.1 集成EIM系统141

1 1.1.1 配置EIM与Hadoop集成142

1 1.1.2 集成基于Active Directory的EIM系统与Hadoop生态系统143

11.2 从企业网络访问安全Hadoop集群144

11.2.1 HttpFS145

11.2.2 HUE145

11.2.3 Knox Gateway Server146

11.3 小结147

第12章 Hadoop中敏感数据安全保护148

12.1 Hadoop 中敏感数据及保护方法148

12.2 小结154

第13章 安全事件与审计日志155

13.1 Hadoop集群安全事故和事件监控155

13.2 Hadoop集群审计日志设置158

13.3 小结160

附录 Hadoop安全机制解决方案161