分类 大数据 下的文章

华为hadoop调优手册，当前最全面的hadoop调优手册！

1. 现状和挑战1.1 现状Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。图1-1 Kafka在美团数据平台的现状如图1-1所示，蓝色部分描述了Kafka在数...

1. 前言最近十年，Elasticsearch 已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。然而在高并发、高可用、大数据量的 C 端场景，目前可参考的资料并不多。因...

前言本文针对非科班生转行大数据所遇到的问题，提出一些切实的建议，以免小伙伴在学习过程中走弯路。我依据自己转行所走过的一些弯路，总结了我自己大数据学习的详细路线，推荐一些我看过的大数据课程以及技术书籍，帮助各位小伙伴做一个资源筛选。我能...

一.剖析MapReduce作业运行机制　　MapReduce是hadoop的编程模型，它的核心思想就是映射（Map)和化简（Reduce）。1>.作业的提交　　可以通过一个简单的方法调用来运行MapReduce作业：Job对象的...