Type 1 de volgende code voor de map -functie :

public static class InvertedIndexerMapper
breidt MapReduceBaseimplements Mapper { private laatste statische tekst woord = new tekst ( ) ; private final static tekst locatie = nieuwe tekst ( ) ;

public void plattegrond ( LongWritable sleutel , tekst val , OutputCollector uitgang , Reporter verslaggever ) gooit IOException { FileSplit fileSplit = ( FileSplit ) reporter.getInputSplit ( ) ; String fileName = fileSplit.getPath ( ) getName ( ) ; location.set ( fileName ) ;

String lijn
- val.toString ( ) ; . StringTokenizer ITR = new StringTokenizer ( line. toLowerCase ( ) ) , terwijl ( itr.hasMoreTokens ( ) ) { word.set ( itr.nextToken ( ) ) ; output.collect ( woord , locatie ) ; } } }

Type 2 de volgende code voor het verminderen functie :

public static class InvertedIndexerReducer
breidt MapReduceBaseimplements Reducer { public void verminderen ( tekst sleutel , Iterator waarden , OutputCollector uitgang , Reporter verslaggever ) gooit IOException { boolean eerste = true; StringBuilder toreturn = new StringBuilder ( ) , terwijl ( values.hasNext ( ) ) {if ( eerste ) toReturn.append ( ' , ' ) ; ! eerste = false; toreturn . append ( . values.next ( ) toString ( ) ) ;} output.collect ( key , nieuwe tekst ( toReturn.toString ( ) ) ) ; } }
3

Typ de volgende code om de omgekeerde index voltooien :

public static void main ( String [ ] args ) op Twitter gooit IOException { if ( args.length < 2 ) { System.outprintln ( " Usage : InvertedIndex < ; papierbaan > ' ) ; System.exit ( 1 ) ; } JobConf conf = new JobConf ( InvertedIndex.class ) ; conf.setJobName ( " InvertedIndex " ) ;

conf.setOutputKeyClass
( Text.class ) ; conf.setOutputValueClass ( Text.class ) ;

conf.setMapperClass
( InvertedIndexerMapper.class ) ; conf.setReducerClass ( InvertedIndexerReducer.class ) ;

FileInputFormat.setInputPaths
( conf , nieuwe Pad ( args [ 0 ] ) ) ; FileOutputFormat.setOutputPath ( conf , nieuwe Pad ( args [ 1 ] ) ) ; try { JobClient.runJob ( conf ) ;} catch ( Exception e ) { e.pringStackTrace ( ) ; } }