`
网络接口
  • 浏览: 43372 次
文章分类
社区版块
存档分类
最新评论

基于Hadoop平台做大数据的几种应用

 
阅读更多

1、自己写MapReduce任务,虽然开发难度大一点,但运行效率比Pig和Hive高,像Google的PageRank排名,机器学习、推荐,全盘扫描的ETL都是这种方式的典型应用;

2、用Hive做分析,Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写,但某些运算效率不及M/R;

3、用Pig做数据分析,Pig是Yahoo的研发成果,yahoo也希望将其推广为大数据领域内的数据分析标准,但从目前看Pig的语法尚未普及,跟Hive的问题一样,在做某些运算时效率不及M/R;

4、基于Hbase开发的系统,基本上可以达到实时分析系统的效果,但目前没有开源实现,开发成本高。

分享到:
评论

相关推荐

    Hadoop大数据分析与挖掘实战 高清版

    高级篇(第15~16章),介绍了基于Hadoop大数据开发的相关技术以及开发步骤,同时使用实例来展示这些步骤,使读者可以自己动手实践,亲自体会开发的乐趣;同时,还介绍了基于TipDM-HB大数据挖掘平台的二次开发实例,...

    应用大数据平台概要设计.docx

    采用常规基于DBMS的数据分析工具和方法已经无法满足大规模数据分析的需求,目前一些大型互联网公司采用hadoop体系进行大规模数据的运算,结合hadoop体系结构与实际的运算需求结合,采用hadoop 体系结构的分布式运算...

    大数据基础知识入门.pdf

    大数据基础知识入门 社会保障事业部 张火磊 主要内容 大数据价值 03 大数据概念、特性、由来 01 大数据应用举例 04 02 Hadoop技术介绍 大数据概念、特性、由来 什么叫大数据? 麦肯锡全球研究所给出的定义是:一 种...

    Hadoop海量网络数据处理平台的关键技术

    3.提出了一种异构环境下的高效数据存储机制针对当前基于Hadoop的海量网络数据处理平台中数据存储问题,本文对分布式数据存储技术进行深入研究,并结合服务器性能评估技术提出了一种适用于异构环境下的高效数据存储算法...

    企业质量大数据的应用.docx

    数据采集的方式很多,以下几种采集方式可以作为参考: 1)电文通讯:在源系统中对数据进行组织,通过TCP/IP协议,将数据以电文方式发送给数据中心。 企业质量大数据的应用全文共3页,当前为第1页。2)数据库通讯:...

    大数据市场前景分析报告.docx

    中国大数据产业发展现状分析 大数据产业链建设情况 目前,IT产业在发展过程中已经形成了一些层次分布,有做服务器和底层系统的,有做软件的,有做应用的,大数据也需要在原有的架构上加以发展。原来做基础设施的...

    大数据市场前景分析报告(1).docx

    中国大数据产业发展现状分析 大数据产业链建设情况 目前,IT产业在发展过程中已经形成了一些层次分布,有做服务器和底层系统的,有做软件的,有做应用的,大数据也需要在原有的架构上加以发展。原来做基础设施的...

    大数据之运维.pptx

    Hive简介 Hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速...

    赢在大数据.docx

    同样,这个搜索引擎也是基于Hadoop开发。 近几年来,在互联网领域像Vpon威朋、百分点这样利用Hadoop等大数据相关技术进行访客点击行为分析,来开展业务的公司越来越多,其中有一大批是对新兴技术敏感的初创公司,...

    BI与大数据区别.docx

    不管定义如何不同,大数据与传统BI是社会发展到不同阶段的产物,我们从几下几个纬度来可以迅速的看出两者的区别: 第一、从数据来源角度 大数据应用的数据来源,不仅仅包括非结构化的数据,还有各种系统数据,...

    大数据与图书馆服.pptx

    大数据技术及应用现状 大数据的研究是近几年开始的,为了适应大数据日益迅猛的发展,其技术发展很快。就目前来看,大数据技术主要涵盖的领域有可视化分析、数据挖掘算法、预测性分析能力、语义引擎、数据管理以及...

    谈学习大数据的感想.doc

    其次,数据分析工具将更加容易使用(面向中小企业应用的大数据创业非常火爆) ,中小企业也许没有BI平台,但他们都有平板电脑和智能手机,移动版客户智能分析将 会改变企业使用营销工具的方式。 大数据时代已经来临...

    小白从零快速掌握数据湖架构开发(前沿技术Delta Lake)视频教程

    第三章 数据处理、数据应用的几种架构 第四章 数据湖基于Hadoop、Spark的实现 第五章 Delta Lake - 数据湖核心的增强 第六章 Delta Lake - Quickstart 第七章 Delta Lake 操作 第八章 Delta Lake - 理论 第九章 企业...

    大数据运维解决方案.pdf

    自动发现 设备发现 · 扫描网络中设备 · 自动识别设备的类 型和操作系统 应用发现 · 基于网络指纹应用 的识别 网络拓扑 · 显示当前的网络结 构,可发现二级交换 机 性能监控 性能监控 BigData Hadoop Cassandra ...

    第7章-大数据分析与挖掘技术---大数据基础.pptx

    相似性 11 进行推荐时,常常要度量两个用户(物品)之间的相似程度,常用的相似性度量有以下几种:皮尔逊相关系数、欧氏距离、余弦相似性、斯皮尔曼相关系数、Jaccard系数(用于忽略了偏好值的数据)、对数似然比等...

    这是一个基于Android系统开发的购买汽车票、火车票和飞机票的应用。LuLuTong.zip

    购票系统是一种用于方便用户购买门票、交通票、电影票等各种类型票务的系统。这种系统通常涉及以下几个方面的功能和流程: ...大数据技术:包括Hadoop、Spark、Hive等用于处理和分析大规模数据集的技术。

    基于servlet火车订票系统ServletTicket.zip

    购票系统是一种用于方便用户购买门票、交通票、电影票等各种类型票务的系统。这种系统通常涉及以下几个方面的功能和流程: ...大数据技术:包括Hadoop、Spark、Hive等用于处理和分析大规模数据集的技术。

    基于vue+springboot的电影购票系统.zip

    购票系统是一种用于方便用户购买门票、交通票、电影票等各种类型票务的系统。这种系统通常涉及以下几个方面的功能和流程: ...大数据技术:包括Hadoop、Spark、Hive等用于处理和分析大规模数据集的技术。

    基于JavaWeb实现的火车票售票系统TrainTicketSystem.zip

    购票系统是一种用于方便用户购买门票、交通票、电影票等各种类型票务的系统。这种系统通常涉及以下几个方面的功能和流程: ...大数据技术:包括Hadoop、Spark、Hive等用于处理和分析大规模数据集的技术。

    基于springboot-vuejs的购票系统springboot-vue.zip

    购票系统是一种用于方便用户购买门票、交通票、电影票等各种类型票务的系统。这种系统通常涉及以下几个方面的功能和流程: ...大数据技术:包括Hadoop、Spark、Hive等用于处理和分析大规模数据集的技术。

Global site tag (gtag.js) - Google Analytics