`
cloudeagle_bupt
  • 浏览: 529291 次
文章分类
社区版块
存档分类
最新评论

分布式系统的计算部分的常见优化思路

 
阅读更多

对于一个分布式的计算系统(比如MapReduce)而言,常见的优化思路一般会考虑如下几个方面:

1. 作业和任务调度
这个就太多了,到处都是。

2. 通信
关注点: 线程处理模型(I/O, 请求响应等等),序列化的速度,序列化包的大小等等。
常见的Java NIO, mina,等等。

3. 数据存取
流水,计算与通信重叠。。。。。

分享到:
评论

相关推荐

    《分布式系统》教学大纲

    通过这门课程的教学,使学生对分布式系统的基本概念、有关体系结构、分布式系统设计原理与方法有一个系统的掌握,能深入理解一些典型的分布式计算系统,为以后从事分布式系统研究与设计打下良好的理论和工程实践的...

    分布式系统架构设计思路

    分布式系统架构设计思路分布式系统架构设计思路分布式系统架构设计思路分布式系统架构设计思路分布式系统架构设计思路

    《分布式系统常用技术及案例分析》PDF

    这些技术涵盖了分布式消息服务、分布式计算、分布式存储、分布式监控系统、分布式版本控制、RESTful、微服务、容器等领域的内容。第三部分选举了以淘宝网和 Twitter 为代表的国内外知名互联网企业的大型分布式系统...

    分布式系统原理介绍 - 刘杰 - 百度.pdf

    分布式系统理论体系非常庞大,涉及知识面也非常广博,本文精心选择了部分在工程实践中应用广泛、简单有效的分布式理论、算法、协议加以介绍。全文分为两大部分,第一部分介绍了分布式系统的一些基本概念并框定了本文...

    分布式系统中文版PPT-南理工复习可用

    南理工 魏松杰 对应他的英文版本PPT复习可用,同时是学习分布式系统的很好的PPT,分布式系统ppt对应分布式系统第五版英文版ppt,复习,自学可用,了解分布式系统,共10章,01-概述,02-系统模型,03-进程间通信,04-...

    分布式系统常用技术及案例分析.pdf

    这些技术涵盖了分布式消息服务、分布式计算、分布式存储、分布式监控系统、分布式版本控制、RESTful、微服务、容器等领域的内容。第三部分选举了以淘宝网和 Twitter 为代表的国内外知名互联网企业的大型分布式系统...

    分布式系统设计 分布式系统设计

    分布式系统设计 分布式系统设计 分布式系统设计

    分布式计算课件(PPT)

    北邮非常详细的分布式计算课件,讲述了分布式对象,计算等,适合分布式入门。

    分布式计算环境课件 分布式

    分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算环境分布式 分布式计算环境 分布计算...

    分布式系统原理与泛型

    第二部分给出了一些实际的分布式系统:基于对象的分布式系统、分布式文件系统、基于文档的分布式系统以及基于协作的分布式系统,介绍了一些实际系统的设计思想和实现技术。全书结构清晰,内容全面经典,系统性与先进...

    分布式系统设计(PDF)

    本书较为全面地介绍了分布式系统领域的一些基本概念,提出了分布式系统的各种问题,如互斥问题、死锁的预防和检测、处理机间的通信机制、可靠性问题、负载分配问题、数据管理问题及其可能的解决方案,并讨论了分布式...

    分布式系统原理与范型

    第二部分给出了一些实际的分布式系统:基于对象的分布式系统、分布式文件系统、基于文档的分布式系统以及基于协作的分布式系统,介绍了一些实际系统的设计思想和实现技术。全书结构清晰,内容全面经典,系统性与先进...

    分布式系统原理介绍

    全文分为两大部分,第 一部分介绍了分布式系统的一些基本概念并框定了本文的问题模型和问题域,作为后续章节的基础。 第二部分介绍了一些分布式系统的理论,在介绍这些理论时,注重引入实例并加以应用,同时将这 些...

    分布式系统设计.pdf

    在过去的1 0年里,人们对分布式计算系统 的兴趣迅猛发展。有关分布式计算的主题是多种多样的,许多研究人员正在研究关于分布式硬 件结构和分布式软件设计的各方面问题以开发利用其潜在的并行性和容错性。在这一章里...

    吉林大学精品课件——分布式计算系统

    吉林大学精品课件——分布式计算系统,非常适合自学者使用,欢迎下载!

    分布式系统与并行计算文献阅读综述

    分布式系统与并行计算文献阅读综述,含有hadoop集群的安装和使用,mpi并行计算的使用和介绍

    分布式系统-原理与范型(第2版) 完整版

    本书是著名作者Tanenbaum关于分布式系统的最新力作,是分布式系统的权威教材。本书分成了两大部分。第2~9章讨论的是分布式系统的的原理、概念和技术,包括通信、进程、命名、同步化、一致性和复制、容错性以及安全...

    分布式并行计算技术2

    分布式并行计算技术1,分布式计算的经典教材之一

    分布式系统实验报告

    分布式系统实验报告,C# Socket编程、RMI远程方法调用、C#IP组播通信

Global site tag (gtag.js) - Google Analytics