`
甘艳丽
  • 浏览: 50888 次
  • 性别: Icon_minigender_2
  • 来自: 湖南
社区版块
存档分类
最新评论
文章列表
                                                            hadoop任务调度详解     任何作业的运行,首先得从用户端提交作业给jobTracker开始。               用户端:         用户 ...
                                                      Map和Reduce的执行过程   当要运行一个mapreduce应用程序时,可以分为一下几个步骤:   1.用户提交任务.   2.jobTracker:相当于namenode,来协调job的运行.   3.taskTracker:相当于datanode,运行此job的task,该taskTracker有两个线程:一个是,mapTask,一个是,reduceTask.      用户提交任务时,它会向jobTracker申请新的job ID,并且计算得到输 ...
前提条件: 1.首先要使得要配成集群环境的几台机器安装jdk 2.在每台机器上安装ssh 3.在每台机器上安装hadoop     在这个基础上,再来配置各机器之间的分布实现。 首先来说明一下:Linux系统下jdk的安装吧!            因为要配置成集群环境,所以每台机器的jdk软件包的版本必须一致,当然,hadoop的jar包的版本也必须一致,不然,会出现意想不到的错误,我们组在配置时就犯了这个错误,还必须注意:每台机器jdk和hadoop解压后的文件夹也必须放到统一的目录下:jdk解压后放在/usr/local/java,hadoop解压后 ...

哈希表

1.什么是哈希表? 哈希表又程散列表,它通过把关键码值(key,value)映射到表中的某个位置来进行查找记录的。映射其实就是将关键码的值通过一个函数计算出索引的位置,这个函数就叫哈希函数,哈希函数可以自己定义,最常用的就是求模运算,好的哈希函数可以提高这个算法的效率。 2.为什么要使用哈希表? 哈希表具备数组和链表的优点,通过哈希函数可以得到索引位置,所以,哈希表的查找效率很高,又因为哈希表是动态生成的,所以,它的空间消耗量不是很大,只是再需要扩充的时候,在分配内存。动态生成时,需要考虑两个因素:1.初始容量,2.装载因子。当放入的数据与容量之比大于装载因子时,这个时候,就需要扩充哈希表 ...
1.到网上下载JPcap,下载地址是:http://netresearch.ics.uci.edu/kfujii/jpcap/doc/index.html 2.由于JPcap运行时依赖WinCap的类库,所以,也必须在本机下载安装WinCap,下载地址是:http://www.winpcap.org 3.配置JPcap的路径:把Jpcap文件夹下lib文件夹里的JPcap.dll文件复制到你机器JDK文件夹下jre下的bin目录中,(我机器上是:C:\Program Files\Java\jdk1.6.0_10\jre\bin下)然后把JPcap文件夹下lib文件夹里的jpcap.jar复制 ...

网络安全

                                      网络安全 计算机网络虽然带给了我们方便,但同时,我们在使用网络时,是否注意过网络安全问题呢? 计算机网络面临的安全性威胁主要有以下四种情况:1.截获,2.中断,3.篡改,4.伪照。 1.    截获:是指攻击者从网络上获取他人的通信内容。 2.    中断:是指攻击者有意中断他人在网络上的通信。
    数据库中和JSP页面中中文显示乱码问题,纠结了我很久。令我兴奋的是,现在已经解决了。刚开始测试时,因为我是在MySQL那个黑框框里面中插入中文数据的,所以没有出现乱码。然而,当我用JSP页面去测试时,情况就不同 ...
         沫忆心V1.o版终于在昨天竣工了。做这个项目之前,我们定的时间是8月20日,当时,还觉得时间很充分,应该可以完成,熟知后面一拖再拖,直到昨天。这件事中也可以反映一个人做事的态度,自己规划的事情却不能 ...
之前我们解决servlet页面显示乱码的解决方案是:response.setContentType("text/html;charset=gbk");这样只能保证:你在servlet写的中文能够被显示,但是:如果是从html页面得到的中文数据呢?不知道大家有没有测试过?     我今天测试了下:当我在html登录界面输入学校的名字:湖南大学,servlet通过request对象,调用其getParameter("表单中组件的名字")来获得用户名,显示到界面上时却是乱码。后面想了下,我觉得可能是:request对象没有设置其字符编码:在此基础上:我添加了 ...
 TCP连接——三次握手和四次断开 1.面向连接 TCP是一个面向连接的协议,面向连接是指任何一方向对方发送数据前必须先建立通道,比如像打电话一样:必须要等到对方的手机响铃,并且对方接听电话时,才能与对方通信。而UDP则不是面向连接的协议,基于UDP协议的通信双方不需要事先与对方协商建立连接,也不管对方的IP地址与端口号是否存在,就发送数据,这个处理方式有点像手机发短信,不管对方手机是否欠费或关机,我们就只管发送信息。 2.三次握手 首先看下示例图吧!
程序中碰到异常问题,我们到底是用try-catch还是用throws呢?到底什么时候用try-catch,什么时候用throws呢?   我的观点是:哪种处理方式对你程序更有利就用哪种!!!   try-catch是用来处理别人抛出的exception的,当你觉得你有足够的能力以及足够的信息处理该方法中可能出现的异常时,就使用它。而当你觉得你没有能力处理时,你就要首先声明该方法可能出现异常,抛出异常,将该异常交给调用者处理,当调用者也没能力处理时,它又一层一层往上抛,直到主函数解决异常为止。我们需要明白的是:throws抛出的异常最终都是在try-catch中解决的。这样就感觉有点像:老 ...
沉睡的人,你也该清醒了! 这几天感触颇深,趁着明天放假,好好记录下。   从培训到现在已经有几个月了,在这个过程中,通常是老师讲哪,我就做哪,从来没有过自己的想法,也从来没有想过我到底是为了什么学习?我 ...
                                               网络通信初识 1.通信必须在两方建立:服务器端和客户端。 执行这行代码:java.net.ServerSocket server=new java.net.ServerSocket(port);就可以创建一个服务器对象。port是服务器的端口,当服务器对象创建成功后,调用:server.accept()方法,等待客户机与之建立连接。该方法会阻塞,也就是:必须有客户端与之建立连接得到一个连接对象,才会执行下行代码,否则会一直等待客户机的连接。 Socket client=server.accept( ...
哈弗曼文件压缩的基本原理: 1.统计要压缩文件中各字符出现的频率。采用哈弗曼压缩的前提是:待压缩的文件中各字符出现的频率相差甚远,这样才体现出哈弗曼压缩的优点。    该方法可以通过使用hashMap()来统计次数。 public static HashMap<Byte, Integer> count(String path) { HashMap<Byte, Integer> map = new HashMap<Byte, Integer>();// // 创建一个HashMap得对象,用来放数字以及该数字出现的次数 try { ...
1.什么是链表? 2.链表有哪些特点? 3.为什么要使用链表? 4.链表分为哪几种形式?     直观来说,项链,佛珠,手表都是链表的一种表现形式,链表就是一种由一系列结点构成的数据结构。     链表的特点:链表是由一系列结点构成,每个结点至少包含两个域(数据域和指向下个结点的引用类型),双向单链表和循环单链表还有个指向父节点的引用类型域。链表中的结点存放的物理地址是非连续的,链表是不定长的,它可以随时加入新的结点。     之前我们用数组实现过队列的方法,既然用数组可以实现,那为什么还要用链表去实现队列的方法呢?数组和链表到底有什么区别?     数组是定长的,数组有下标,这样 ...
Global site tag (gtag.js) - Google Analytics