尚硅谷大数据之高频面试题.docx

尚硅谷大数据技术之高频面试题 ————————————————————————————— 尚硅谷大数据技术之高频面试题 ————————————————————————————— PAGE 24 尚硅谷大数据技术之高频面试题 (作者：尚硅谷大数据研发部) 版本：V8.0 尚硅谷大数据研发部 目录 TOC \o "1-3" \h \z \u 第1章 项目涉及技术 11 1.1 Linux&Shell 11 1.1.1 Linux常用高级命令 11 1.1.2 Shell常用工具及写过的脚本 12 1.1.3 Shell中提交了一个脚本，进程号已经不知道了，但是需要kill掉这个进程，怎么操作? 12 1.1.4 Shell中单引号和双引号区别 12 1.2 Hadoop 13 1.2.1 Hadoop常用端口号 13 1.2.2 Hadoop配置文件以及简单的Hadoop集群搭建 13 1.2.3 HDFS读流程和写流程 13 1.2.4 HDFS小文件处理 14 1.2.5 Shuffle及优化 14 1.2.6 Yarn工作机制 17 1.2.7 Yarn调度器 17 1.2.8 项目经验之基准测试 18 1.2.9 Hadoop宕机 18 1.2.10 Hadoop解决数据倾斜方法 18 1.2.11 集群资源分配参数（项目中遇到的问题） 19 1.3 Zookeeper 19 1.3.1 选举机制 19 1.3.2 常用命令 20 1.3.3 Paxos算法（扩展） 20 1.3.4 讲一讲什么是CAP法则？Zookeeper符合了这个法则的哪两个？（扩展） 20 1.4 Flume 20 1.4.1 Flume组成，Put事务，Take事务 20 1.4.2 Flume拦截器 22 1.4.3 Flume Channel选择器 23 1.4.4 Flume监控器 23 1.4.5 Flume采集数据会丢失吗?（防止数据丢失的机制） 23 1.5 Kafka 23 1.5.1 Kafka架构 23 1.5.2 Kafka的机器数量 24 1.5.3 副本数设定 24 1.5.4 Kafka压测 25 1.5.5 Kafka日志保存时间 25 1.5.6 Kafka中数据量计算 25 1.5.7 Kafka的硬盘大小 25 1.5.8 Kafka监控 25 1.5.9 Kakfa分区数 25 1.5.10 多少个Topic 26 1.5.11 Kafka的ISR副本同步队列 26 1.5.12 Kafka分区分配策略 26 1.5.13 Kafka挂掉 26 1.5.14 Kafka丢不丢数据 27 1.5.15 Kafka数据重复 27 1.5.16 Kafka消息数据积压，Kafka消费能力不足怎么处理？ 27 1.5.17 Kafka参数优化 27 1.5.18 Kafka高效读写数据 28 1.5.19 Kafka单条日志传输大小 28 1.5.20 Kafka过期数据清理 28 1.5.21 Kafka可以按照时间消费数据 29 1.5.22 Kafka消费者角度考虑是拉取数据还是推送数据 29 1.5.23 Kafka中的数据是有序的吗 29 1.6 Hive 29 1.6.1 Hive的架构 29 1.6.2 Hive和数据库比较 29 1.6.3 内部表和外部表 30 1.6.4 4个By区别 30 1.6.5 系统函数 30 1.6.6 自定义UDF、UDTF函数 31 1.6.7 窗口函数 31 1.6.8 Hive优化 31 1.6.9 Hive解决数据倾斜方法 33 1.6.10 Hive里边字段的分隔符用的什么？为什么用\t？有遇到过字段里边有\t的情况吗，怎么处理的？ 35 1.6.11 Tez引擎优点？ 36 1.6