《数据工程师培训题库(四)【精选文档】》由会员分享，可在线阅读，更多相关《数据工程师培训题库(四)【精选文档】（8页珍藏版）》请在金锄头文库上搜索。
1、数据工程师培训题库(四)【精选文档】【说明】a) 客观题30题，每题2分，总计60分b) 主观题4题，每题10分，总计40分c) 满分100分。【不定项选择题（每题2分共60分）】1、 下列与HDFS有关的说法正确的是（ ）AHDFS DataNode节点上的磁盘需要做RAID1，用来保证数据的可靠性BHDFS可以在磁盘之间通过balance操作，平衡磁盘之间的负载情况CHDFS建议DataNode之间的数据盘个数、容量大小不一致，以体现HDFS的负载均衡能力D规划HDFS集群时，建议Active NameNode和Standby NameNode分配在不同的机架上 2、 以下哪个服务作为HD
2、FS高可靠协调服务的共享存储？（ )A. ZooKeeperB. JournalNodesC. NameNodeD. ZKFailoverController3、 在集群中配置HDFS的副本数为3，设置数据块大小为128M，此时我们上传一份64M的数据文件，该数据文件占用HDFS空间大小为（ ）A . 64MB . 128MC 。 384MD 。 192M4、 在Yarn服务中,不包含以下哪种角色（ )A 。 ResourceManagerB . NodeManagerC 。 ApplicationMasterD 。 Contianer5、 ResourceManager是YARN的主要组成部
3、分,有关其功能描述不正确的是（ ）A . 它直接将集群所拥有的资源按需分配给运行在YARN上的应用程序B 。 它负责将集群中的所有资源进行统一管理和分配C 。 它接受各个节点的资源汇报信息D . 它把资源按照策略分配给各应用TDH数据平台认证工程师试题姓名：_ 分数：_6、 当前用户提交了一个wordcount词频统计的任务，最后任务执行失败，可能的原因有哪些( ）A 。 当前集群中没有足够的资源，不足以满足当前wordcount任务的需求B . 执行该任务的用户没有权限访问HDFS上的数据文件C 。 用户在执行任务之前在HDFS相应的目录下创建了提交任务时指定的输出目录D 。 以上原因都有可
4、能7、 以下关于外表和托管表描述正确的是（ ）A、外表的数据存储在本地，托管表的数据存储在hdfs上B、删除托管表只会删除Inceptor上的元数据不会删除数据文件，删除外表两者都会被删除C、删除外表只会删除Inceptor上的元数据不会删除数据文件,删除托管表两者都会被删除D、删除托管表或外表,incepotr上的元数据和数据文件都会被删除8、 SQL运行中如果出现maptask数据特别多，执行时间又很短时可以通过小文件合并来进行优化,以下是合并参数有（ ）A. SET ngmr.partition.automerge = TRUE；B. SET ngmr。partition。mergesi
5、ze = n;C. SET ngmr。partition.mergesize.mb = m；D. SET mapred.reduce。tasks = N;9、 以下关于inceptor日志信息描述正确的有（ ）A. Inceptor server日志存放于各节点的/var/log/inceptorsqlx/hive-server。logB. 可以通过inceptor server 4040查看SQL错误日志C. Excutor日志存放于excutor节点的/var/log/inceptorsqlx/spark-excutor.logD ExcutorGC日志存放于excutor节点的/var/
6、log/inceptorsqlx/sparkexcutor。gc.log10、 tableA 有10G的数据,tableB有100G的数据，两个表通过共有的id列做关联查询name列，以下方式可以优化计算效率的是（ ）A. select /+MAPJOIN（a）*/ a。name，b。name from tableA a join tableB b on a.id=b。idB. select /+MAPJOIN(b)*/ a。name，b.name from tableA a join tableB b on a。id=b。idC. 建表时将tableA 和 tableB 根据id字段分相同数
7、量的桶D. 建表时将tableA 和 tableB 根据name字段分相同数量的桶11、 以下属于HMaster功能的是( ）A 为Region Server 分配regionB 存储数据元信息C 对region进行compact操作D 管理用户对table的增删改查操作12、 Hyperbase与Inceptor的关系，描述正确的是（ ）A 两者不可或缺，Inceptor保证Hyperbase的服务的正常运行B 两者没有任何关系C Inceptor可以访问HyperbaseD 两者相辅相成13、 下列创建全局索引的语句，正确的是（ ）A add_index t1, index_name， C
8、OMBINE_INDEXINDEXED=f1:q1：9|rowKey：rowKey:10，UPDATE=trueB add_global_index t1， index_name， COMBINE_INDEXINDEXED=f1：q1：9rowKey:rowKey:10,UPDATE=trueC add_fulltext_index t1， index_name, COMBINE_INDEX|INDEXED=f1:q1：9|rowKey:rowKey:10，UPDATE=trueD create_global_index t1， index_name, COMBINE_INDEX|INDEXE
9、D=f1:q1:9rowKey:rowKey：10，UPDATE=true14、 以下对流处理计算框架描述不正确的是（ )A Spark Streaming是基于微批（batch）对数据进行处理的B Apache Storm是基于时间（event）对数据进行处理的C Transwarp StreamSQL可基于微批或事件对数据进行处理D 以上说法都不对15、 某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream，以下实现正确的是( )A. CREATE STREAMWINDOW traffic_stream AS SELECT FROM ori
10、ginal_stream STREAM w1 AS （length 1 minute slide 24 hour);B. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length 1 minute slide 24 hour)；C. CREATE STREAM traffic_stream AS SELECT FROM original_stream STREAMWINDOW w1 AS (length 24 hour slide 1 minute）;D. CREATE ST
11、REAM traffic_stream AS SELECT * FROM original_stream AS (length 24 second slide 1 minute)；16、 Zookeeper服务描述正确的为（ )A . Zookeeper中每一个server互为leader。B 。 Zookeeper中只有一个leader，并通过备份机制产生。C . Zookeeper中不存在leader，所有server共同提供服务.D . Zookeeper通过选举机制确定leader，有且仅有一个。17、 通过Hue修改HDFS目录或文件的权限可以通过以下哪些方式实现( ）A Hdfs相
12、应的权限B 通过Hue超级用户hue登录C 以hdfs用户登录D 以上都可以18、 通过Oozie使用ssh,必须满足以下条件（ ）A 以root用户登录各个节点B Oozie用户可以免密钥登录 C Oozie用户必须要有bash权限D . 所访问必须是集群的节点19、 有关使用sqoop抽取数据的原理的描述不正确的是（ )A . sqoop在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数B . sqoop抽取数据是个多节点并行抽取的过程,因此map的个数设置的越多性能越好C . sqoop任务的切分是根据split字段的（最大值-最小值）/map数D .
13、sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作20、 在使用sqoop连接关系型数据时，下面哪个命令可以查看关系型数据库中有哪些表？( ）A. sqoop listdatabases -username root -password 111111 -connect jdbc:mysql:/192。168。164.25:3306/B. sqoop listdatabases -username root P -connect jdbc：mysql:/192.168。164。25:3306/C. sqoop list-databases -username root -passw
14、ordfile file:/root/.pwd -connect jdbc：mysql:/192.168。164。25:3306/D. sqoop list-tables -username root -password 111111 -connect jdbc：mysql:/192.168。164.25：3306/test21、 要将采集的日志数据作为kafka的数据源,则flume sink需要设置为下列哪项参数（ ）A . hdfsB . kafkaC . org。apache。flume。sink.kafka.KafkaSinkD . topicname22、 下列是关于flume和sqoop对比的描述，不正确的是（ )A 。 flume主要用来采集日志而sqoop主要用来做数据迁移B . flume主要采集流式数据而sqoop主要用来迁移规范化数据C 。 flume和sqoop都是分布式处理任务D 。 flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据23、 有关Elasticsearch描述有误的一项是( ）A 它会利用多播形式发现节点。B 主节点(master node） 通过选举方式产生.C 主节
