Correcciones menores

- Caracteres extraños en las traducciones
- Generación de archivos no utilizados

Author: iferrant

src/main/com/warcgenerator/core/logic/AppLogicImpl.java

@@ -354,8 +354,6 @@ public void generateCorpus(GenerateCorpusState generateCorpusState)
 
 		IDataSource labeledDS = null;
 		IDataSource notFoundDS = null;
-		IDataSource spamDS = null;
-        IDataSource hamDS = null;
 
 		try {
 			// Corpus Path dirs
@@ -374,10 +372,6 @@ public void generateCorpus(GenerateCorpusState generateCorpusState)
 			ConfigHelper.getDSHandlers(config, dataSourcesTypes);
 
 			// Generate wars
-            spamDS = new GenericDS(new DataSourceConfig(
-                    outputCorpusConfig.getCorpusDir() + File.separator + config.getSpamDirName() + ".txt"));
-            hamDS = new GenericDS(new DataSourceConfig(
-                    outputCorpusConfig.getCorpusDir() + File.separator + config.getHamDirName() + ".txt"));
 			labeledDS = new GenericDS(new DataSourceConfig(
 					outputCorpusConfig.getDomainsLabeledFilePath()));
 			notFoundDS = new GenericDS(new DataSourceConfig(
@@ -403,12 +397,12 @@ public void generateCorpus(GenerateCorpusState generateCorpusState)
 
 				// ////////// READING SPAM
 				Task t2 = new ReadURLsTask(config, outputCorpusConfig,
-						generateCorpusState, outputDS, spamDS, hamDS, labeledDS,
+						generateCorpusState, outputDS, labeledDS,
                         notFoundDS, urlsSpam, true, urlsActive, urlsNotActive);
 
 				// ////////// READING HAM
 				Task t3 = new ReadURLsTask(config, outputCorpusConfig,
-						generateCorpusState, outputDS, spamDS, hamDS, labeledDS,
+						generateCorpusState, outputDS, labeledDS,
                         notFoundDS, urlsHam, false, urlsActive, urlsNotActive);
 
 				// Read url that contains html

src/main/com/warcgenerator/core/plugin/webcrawler/Crawler4JAdapter.java

@@ -214,8 +214,6 @@ public void start() {
 						if (handler == null) {
 							handler = new WebCrawlerHandler(appConfig,
 									webCrawlerBean.isSpam(),
-									webCrawlerBean.getDomainsSpamDS(),
-									webCrawlerBean.getDomainsHamDS(),
 									webCrawlerBean.getDomainsNotFoundDS(),
 									webCrawlerBean.getDomainsLabeledDS(), warcDS,
 

src/main/com/warcgenerator/core/plugin/webcrawler/WebCrawlerBean.java

@@ -4,43 +4,21 @@
 import com.warcgenerator.core.datasource.IDataSource;
 
 public class WebCrawlerBean {
-	private IDataSource domainsSpamDS;
-	private IDataSource domainsHamDS;
 	private IDataSource domainsLabeledDS;
 	private IDataSource domainsNotFoundDS;
 	private boolean isSpam;
 	private OutputCorpusConfig outputCorpusConfig;
 
-	public WebCrawlerBean(IDataSource domainsSpamDS,
-						  IDataSource domainsHamDS,
-						  IDataSource domainsLabeledDS,
+	public WebCrawlerBean(IDataSource domainsLabeledDS,
 						  IDataSource domainsNotFoundDS,
 						  boolean isSpam,
 						  OutputCorpusConfig outputCorpusConfig) {
-	    this.domainsSpamDS = domainsSpamDS;
-	    this.domainsHamDS = domainsHamDS;
 		this.domainsLabeledDS = domainsLabeledDS;
 		this.domainsNotFoundDS = domainsNotFoundDS;
 		this.isSpam = isSpam;
 		this.setOutputCorpusConfig(outputCorpusConfig);
 	}
 
-    public IDataSource getDomainsSpamDS() {
-        return domainsSpamDS;
-    }
-
-    public void setDomainsSpamDS(IDataSource domainsSpamDS) {
-        this.domainsSpamDS = domainsSpamDS;
-    }
-
-    public IDataSource getDomainsHamDS() {
-        return domainsHamDS;
-    }
-
-    public void setDomainsHamDS(IDataSource domainsHamDS) {
-        this.domainsHamDS = domainsHamDS;
-    }
-
     public IDataSource getDomainsLabeledDS() {
 		return domainsLabeledDS;
 	}

src/main/com/warcgenerator/core/plugin/webcrawler/WebCrawlerHandler.java

@@ -22,8 +22,6 @@
 public class WebCrawlerHandler implements IWebCrawlerHandler {
 	private AppConfig config;
 	private IDataSource warcDS;
-	private IDataSource domainsSpamDS;
-	private IDataSource domainsHamDS;
 	private IDataSource domainsLabeledDS;
 	private IDataSource domainsNotFoundDS;
 	private boolean isSpam;
@@ -36,15 +34,12 @@ public class WebCrawlerHandler implements IWebCrawlerHandler {
             (WebCrawlerHandler.class);
 
 	public WebCrawlerHandler(AppConfig config, boolean isSpam,
-			IDataSource domainsSpamDS, IDataSource domainsHamDS,
 			IDataSource domainsNotFoundDS, IDataSource domainsLabeledDS,
 			IDataSource warcDS, Map<String, DataBean> urls,
 			Set<String> urlsActive, Set<String> urlsNotActive, GenerateCorpusState generateCorpusState) {
 		this.config = config;
 		this.isSpam = isSpam;
 		this.warcDS = warcDS;
-		this.domainsSpamDS = domainsSpamDS;
-		this.domainsHamDS = domainsHamDS;
 		this.domainsLabeledDS = domainsLabeledDS;
 		this.domainsNotFoundDS = domainsNotFoundDS;
 		this.urls = urls;
@@ -185,10 +180,6 @@ public void handle(HtmlParseData htmlParseData) {
 							warcDS.write(bean);
 							OutputHelper.writeLabeled(domainsLabeledDS, htmlParseData.getUrl(),
 									this.isSpam);
-							if (isSpam)
-								OutputHelper.writeSpamHam(domainsSpamDS, htmlParseData.getUrl());
-							else
-								OutputHelper.writeSpamHam(domainsHamDS, htmlParseData.getUrl());
 							generateCorpusState.incDomainsCorrectlyLabeled(this.isSpam);
 						} else {
 							logger.info("URL: " + bean.getUrl() + " doesn't have data.");

src/main/com/warcgenerator/core/task/generateCorpus/ReadURLsTask.java

@@ -24,7 +24,7 @@ public class ReadURLsTask extends Task implements ITask {
 	private GenerateCorpusState generateCorpusState;
 	private AppConfig config;
 	private Map<String, DataBean> urls;
-	private IDataSource spamDS, hamDS, labeledDS, notFoundDS;
+	private IDataSource labeledDS, notFoundDS;
 	private OutputCorpusConfig outputCorpusConfig;
 	private IWebCrawler webCrawler;
 	private Map<String, DataSource> outputDS;
@@ -40,8 +40,6 @@ public ReadURLsTask(AppConfig config,
 			OutputCorpusConfig outputCorpusConfig,
 			GenerateCorpusState generateCorpusState,
 			Map<String, DataSource> outputDS,
-			IDataSource spamDS,
-			IDataSource hamDS,
 			IDataSource labeledDS,
 			IDataSource notFoundDS,
 			Map<String, DataBean> urls, 
@@ -52,8 +50,6 @@ public ReadURLsTask(AppConfig config,
 		this.outputCorpusConfig = outputCorpusConfig;
 		this.generateCorpusState = generateCorpusState;
 		this.outputDS = outputDS;
-		this.spamDS = spamDS;
-		this.hamDS = hamDS;
 		this.labeledDS = labeledDS;
 		this.notFoundDS = notFoundDS;
 		this.urls = urls;
@@ -68,7 +64,7 @@ public void execute() {
 		if (urls.size() > 0) {
 			generateCorpusState.setState(GenerateCorpusStates.READING_URLS);
 			generateCorpusState.setWebsToVisitTotal(urls.size());
-			WebCrawlerBean webCrawlerBean = new WebCrawlerBean(spamDS, hamDS, labeledDS,
+			WebCrawlerBean webCrawlerBean = new WebCrawlerBean(labeledDS,
 					notFoundDS, isSpam, outputCorpusConfig);
 
 			WebCrawlerConfig webCrawlerConfig = new WebCrawlerConfig(

src/main/resources/com/warcgenerator/gui/resources/messages_en_GB.properties

@@ -11,7 +11,7 @@ GeneralConfigPanel.btnNuevoOrigen.text=Save and generate
 GeneralConfigPanel.chckbxNewCheckBox.text=Active sites only
 GeneralConfigPanel.chckbxNewCheckBox_1.text=Download again
 GeneralConfigPanel.lblNewLabel.text=General configuration
-GeneralConfigPanel.lblNewLabel_1.text=N\u00BA Sites\:
+GeneralConfigPanel.lblNewLabel_1.text=N\u00BA Pages\:
 GeneralConfigPanel.lblNewLabel_2.text=%
 GeneralConfigPanel.lblNewLabel_3.text=New label
 GeneralConfigPanel.lblSeleccioneLosParmetros.text=Set parameters of the corpus to be generated.

src/main/resources/com/warcgenerator/gui/resources/messages_es_ES.properties

@@ -1,6 +1,6 @@
 #Eclipse messages class
 #Fri Sep 12 14:49:32 CEST 2014
-fileFilter.fileCfg=Ficheros de configuraci�n
+fileFilter.fileCfg=Ficheros de configuraci\u00F3n
 DSDetailPanel.btnNuevoOrigen.text=Modificar
 DSDetailPanel.lblNewLabel.text=Configuraci\u00F3n del Origen de datos
 DSDetailPanel.lblNewLabel_1.text=New label
@@ -11,7 +11,7 @@ GeneralConfigPanel.btnNuevoOrigen.text=Guardar y generar
 GeneralConfigPanel.chckbxNewCheckBox.text=S\u00F3lo sitios activos
 GeneralConfigPanel.chckbxNewCheckBox_1.text=Descargar de nuevo
 GeneralConfigPanel.lblNewLabel.text=Configuraci\u00F3n general
-GeneralConfigPanel.lblNewLabel_1.text=N\u00BA Sites\:
+GeneralConfigPanel.lblNewLabel_1.text=N\u00BA P\u00E1ginas\:
 GeneralConfigPanel.lblNewLabel_2.text=%
 GeneralConfigPanel.lblNewLabel_3.text=New label
 GeneralConfigPanel.lblSeleccioneLosParmetros.text=Seleccione los par\u00E1metros del corpus a generar.
@@ -51,10 +51,10 @@ OutputConfigPanel.lblNewLabel_3.text=New label
 OutputConfigPanel.txtpnunOrigenDe.text=Configure las carpetas de salida
 
 DSAssistantCreatePanel.btnNuevoOrigen.text=Nuevo Origen
-DSAssistantCreatePanel.lblNewLabel.text=Or�genes de datos
+DSAssistantCreatePanel.lblNewLabel.text=Or\u00EDgenes de datos
 DSAssistantCreatePanel.txtpnunOrigenDe.text=Un origen de datos le permite obtener informaci\u00F3n de corpus provenientes de diferentes tipos de ficheros. \r\n\r\nPulse en \"Nuevo Origen\" para comenzar el asistente de configuraci\u00F3n de un nuevo origen de datos.
 
-DSAssistantLangPanel.rdbtnAllLang.text=S�
+DSAssistantLangPanel.rdbtnAllLang.text=S\u00ED
 DSAssistantLangPanel.lblNewLabel.text=Origenes de datos
 DSAssistantLangPanel.label_2.text=Seleccione los par\u00E1metros del corpus a generar.
 DSAssistantLangPanel.lblPasoDe.text=Paso 2 de 4
@@ -64,7 +64,7 @@ DSAssistantLangPanel.btnNuevoOrigen.text=Continuar
 DSAssistantLangPanel.lblNewLabel_1.text=Todos los idiomas:
 
 DSAssistantStep1Panel.lblNewLabel_1.text=Nombre:
-DSAssistantStep1Panel.lblNewLabel.text=Or�genes de datos
+DSAssistantStep1Panel.lblNewLabel.text=Or\u00EDgenes de datos
 DSAssistantStep1Panel.label_2.text=Seleccione los par\u00E1metros del corpus a generar.
 DSAssistantStep1Panel.lblPasoDe.text=Paso 1 de 4
 DSAssistantStep1Panel.btnNewButton.text=Cancelar
@@ -74,7 +74,7 @@ DSAssistantStep1Panel.lblNewLabel_2.text=Carpeta:
 DSAssistantStep1Panel.btnBuscar.text=Examinar
 DSAssistantStep1Panel.lblNewLabel_3.text=Tipo:
 
-DSAssistantStep2Panel.lblNewLabel.text=Or�genes de datos
+DSAssistantStep2Panel.lblNewLabel.text=Or\u00EDgenes de datos
 DSAssistantStep2Panel.label_2.text=Seleccione los par\u00E1metros del corpus a generar.
 DSAssistantStep2Panel.spamEnabledCBox.text=Habilitado
 DSAssistantStep2Panel.spamRButtom.text=S\u00ED
@@ -87,7 +87,7 @@ DSAssistantStep2Panel.btnVolver.text=Volver
 DSAssistantStep2Panel.btnNewButton.text=Cancelar
 DSAssistantStep2Panel.btnNuevoOrigen.text=Continuar
 
-DSAssistantStep3Panel.lblNewLabel.text=Or�genes de datos
+DSAssistantStep3Panel.lblNewLabel.text=Or\u00EDgenes de datos
 DSAssistantStep3Panel.label_3.text=Seleccione los par\u00E1metros del corpus a generar.
 DSAssistantStep3Panel.lblPasoDe.text=Paso 4 de 4
 DSAssistantStep3Panel.btnVolver.text=Volver
@@ -129,66 +129,66 @@ WarcGeneratorGUI.mntmSaveCG.text=Guardar
 WarcGeneratorGUI.mntmSaveAsCG.text=Guardar como
 WarcGeneratorGUI.recentFilesMI.text=Configuraciones recientes
 WarcGeneratorGUI.mntmSalir.text=Salir
-WarcGeneratorGUI.mnDataSources.text=Or�genes
+WarcGeneratorGUI.mnDataSources.text=Or\u00EDgenes
 WarcGeneratorGUI.mntmCreateNewDS.text=Nuevo origen
 WarcGeneratorGUI.mnPreferences.text=Preferencias
-WarcGeneratorGUI.mnLogin.text=Iniciar sesion
+WarcGeneratorGUI.mnLogin.text=Iniciar sesi\u00F3n
 WarcGeneratorGUI.mnHelp.text=Ayuda
 WarcGeneratorGUI.mnLanguages.text=Idiomas
-WarcGeneratorGUI.mnSpanish.text=Espa�ol
-WarcGeneratorGUI.mnEnglish.text=Ingl�s
+WarcGeneratorGUI.mnSpanish.text=Espa\u00f1ol
+WarcGeneratorGUI.mnEnglish.text=Ingl\u00e9s
 WarcGeneratorGUI.mnAboutOf.text=Acerca De ...
 WarcGeneratorGUI.mnUploadCorpus.text=Subir corpus
 WarcGeneratorGUI.mnGenerarCorpus.text=Generar corpus
 WarcGeneratorGUI.tree.general.text=General
-WarcGeneratorGUI.tree.m_rootNode.text=Configuraci�n
+WarcGeneratorGUI.tree.m_rootNode.text=Configuraci\u00F3n
 WarcGeneratorGUI.tree.output.text=Salida
 WarcGeneratorGUI.tree.other.text=Otros
-WarcGeneratorGUI.tree.node_1.text=Or�genes
+WarcGeneratorGUI.tree.node_1.text=Or\u00EDgenes
 WarcGeneratorGUI.tree.recentConfig.text=[Ninguna]
 
 OptionPane.okButtonText.text=OK
 OptionPane.noButtonText.text=No
 OptionPane.cancelButtonText.text=Cancelar
 
-ExitAction.title.text=Elija una opci�n
-ExitAction.message.text=�Est� seguro que desea salir?
+ExitAction.title.text=Elija una opci\u00F3n
+ExitAction.message.text=¿Est\u00E1 seguro que desea salir?
 
 OpenOutputFolder.message1.text=El directorio de salida: "
 OpenOutputFolder.message2.text=", a�n no ha sido generado.
 
-DSWizard.exit.message.text=Se perder�n los cambios. �Est� seguro que desea salir del asistente?"
-DSWizard.exit.title.text=Elija una opci�n
+DSWizard.exit.message.text=Se perder\u00F3n los cambios. ¿Est\u00E1 seguro que desea salir del asistente?"
+DSWizard.exit.title.text=Elija una opci\u00F3n
 
 DSAssistantStep3FinishAction.update.text=Los cambios se han actualizado
 DSAssistantStep3FinishAction.dscreated.text=Se ha creado el datasource
 
-DSEnableAction.disabled.text=�Est� seguro que desea deshabilitar el origen de datos: 
-DSEnableAction.disabled.title.text=Elija una opci�n
+DSEnableAction.disabled.text=¿Est\u00E1 seguro que desea deshabilitar el origen de datos: 
+DSEnableAction.disabled.title.text=Elija una opci\u00F3n
 
-DSRemoveAction.remove.text=�Est� seguro que desea eliminar el DS:
-DSRemoveAction.remove.title.text=Elija una opci�n
+DSRemoveAction.remove.text=¿Est\u00E1 seguro que desea eliminar el DS:
+DSRemoveAction.remove.title.text=Elija una opci\u00F3n
 DSRemoveAction.remove.text=DS Eliminado\:
 
 OpenInputFolderAction.dirNotFound1.text=El directorio: "
 OpenInputFolderAction.dirNotFound2.text=", no existe.
 
 GeneralDialog.info.title.text=Mensaje
-CreateNewConfigAction.warning.text=Existen cambios no guardados. �Est� seguro que desea continuar?
-CreateNewConfigAction.warning.title.text=Elija una opci�n
-LoadRecentConfigAction.warning.text=�Est� seguro que desea cargar la configuracion? \n
-LoadRecentConfigAction.warning.title.text=Elija una opci�n
+CreateNewConfigAction.warning.text=Existen cambios no guardados. ¿Est\u00E1 seguro que desea continuar?
+CreateNewConfigAction.warning.title.text=Elija una opci\u00F3n
+LoadRecentConfigAction.warning.text=¿Est\u00E1 seguro que desea cargar la configuracion? \n
+LoadRecentConfigAction.warning.title.text=Elija una opci\u00F3n
 SaveAppConfigAction.success.text=La configuracion se ha guardado con exito.
 GCSaveAction.success.text=Los cambios se han guardado
-GeneralConfgAction.warning.text=Existen cambios no guardados. �Desea guardar los cambios?
-CancelGenerateCorpusAction.cancel.text=�Est� seguro que desea cancelar el proceso?
-CancelGenerateCorpusAction.cancel.title.text=Elija una opci�n
+GeneralConfgAction.warning.text=Existen cambios no guardados. ¿Desea guardar los cambios?
+CancelGenerateCorpusAction.cancel.text=¿Est\u00E1 seguro que desea cancelar el proceso?
+CancelGenerateCorpusAction.cancel.title.text=Elija una opci\u00F3n
 GCGenerateAction.cancel.text=El proceso ha sido cancelado.
-OtherConfigAction.warning.text=Existen cambios no guardados. �Desea guardar los cambios?
+OtherConfigAction.warning.text=Existen cambios no guardados. ¿Desea guardar los cambios?
 OtherSaveAction.save.text=Los cambios se han guardado
-OutputConfigAction.warning.text=Existen cambios no guardados. �Desea guardar los cambios?
+OutputConfigAction.warning.text=Existen cambios no guardados. ¿Desea guardar los cambios?
 OutputSaveAction.save.text=Los cambios se han guardado
-GenerateCorpusTask.corpusgenerated.text=El corpus se ha generado con �xito.
+GenerateCorpusTask.corpusgenerated.text=El corpus se ha generado con \u00e9xito.
 GenerateCorpusTask.progress.urls.text=Obteniendo urls 
 GenerateCorpusTask.progress2.urls.text=\u0020 de 
 GenerateCorpusTask.progress3.urls.text=Leyendo: 
@@ -206,7 +206,7 @@ DSAssistantLangContinueAction.error.text=Seleccione idiomas
 
 DSAssistantStep2ContinueAction.error.quantity.text=Cantidad
 
-DSAssistantStep2ContinueAction.error.parameter.text=Par\u00E1metro
+DSAssistantStep2ContinueAction.error.parameter.text=Par\u00F3metro
 
 OtherConfigPanel.error.deepCrawler.text=Numero entre 0 y 5
 OtherConfigPanel.error.webCrawlers.text=Numero mayor que 0
@@ -223,15 +223,15 @@ SelectCorpusFolder.uploadBtn.text=Subir
 DSEnableAction.datasource.text=El origen de datos
 DSEnableAction.datasource.enabled.text=, ha sido habilitado.
 DSEnableAction.datasource.disabled.text=, ha sido deshabilitado.
-DSEnableAction.datasource.cancelled.text=Operaci�n cancelada.
+DSEnableAction.datasource.cancelled.text=Operaci\u00F3n cancelada.
 DSEnableAction.datasource.tooltip.disabled.text=Desabilitado
 
 GeneratingCorpusDialog.openOutputFolderCBox.text=Abrir carpeta de salida al finalizar.
 
-LoginDialog.title.text=Iniciar sesión
+LoginDialog.title.text=Iniciar sesi\u00F3n
 LoginDialog.btnAccept.text=Aceptar
 LoginDialog.lblUserEmail.text=Email:
-LoginDialog.lblUserPassword.text=Contraseña:
+LoginDialog.lblUserPassword.text=Contrase\u00f1a:
 LoginDialog.lblWrongCredentials.text=Email o contraseña incorrectos
 UploadingCorpusDialog.title.text=Subiendo corpus...
 UploadingCorpusDialog.process.text=Este proceso puede durar unos minutos