NLP Project (Natural Language Processing)

For the Spanish version click here

Repository Content

This repository contains a sentiment analysis project as the final exercise of the NLP module. In this project, we were asked to implement various procedures of exploratory analysis, preprocessing, and the construction of a predictive model. The goal is to classify Amazon product reviews to analyze and predict customer sentiment based on these reviews.

Natural Language Processing Module

This module provides tools for preprocessing, analyzing, visualizing, and modeling natural language using Python, Spacy, NLTK, and various other technologies.

Features

Text Preprocessing

• Text Cleaning: Removal of special characters, numbers, and punctuation.
• Tokenization: Splitting texts into words or sentences.
• Lemmatization and Stemming: Reducing words to their root form or lemma.

Spelling Correction

• Utilizes Norvig's spelling corrector to fix typing and spelling errors in texts.

Named Entity Recognition (NER)

• Automatically extracts entities such as names of people, organizations, locations using Spacy.

Text Representation

• Converts texts to numerical vectors using techniques such as TF-IDF and Bag of Words.

Sentiment Analysis

• Text classification based on emotional tone (positive, negative, neutral).

Topic Modeling

• Identifies prevalent topics in large volumes of text using algorithms like LDA (Latent Dirichlet Allocation).

Word and Subword Embeddings

• Generation of word vectors using models like Word2Vec and techniques for subwords that better capture meaning and syntax.

Embeddings Visualization

• Uses tools like t-SNE to visualize the relationship between word vectors in a two or three-dimensional space.

Sentiment Analysis with Deep Learning

• Implements deep learning models for a more sophisticated and accurate sentiment analysis.
  
  
  

Proyecto de NLP (Procesamiento de Lenguaje Natural)

Para la versión en inglés haz clic aquí

Contenido del repositorio

Este repositorio contiene un proyecto de análisis de sentimientos como ejercicio final del módulo de NLP. En este proyecto, se nos pedía implementar diversos procedimientos de análisis exploratorio, preprocesamiento y construcción de un modelo predictivo. El objetivo es clasificar reseñas de productos de Amazon para analizar y predecir el sentimiento del cliente basado en estas reseñas.

Módulo de Procesamiento de Lenguaje Natural

Este módulo ofrece herramientas para el preprocesamiento, análisis, visualización, y modelado de lenguaje natural usando Python, Spacy, NLTK, y varias otras tecnologías.

Características

Preprocesamiento de Textos

• Limpieza de Textos: Eliminación de caracteres especiales, números, y puntuación.
• Tokenización: División de textos en palabras o frases.
• Lematización y Stemming: Reducción de palabras a su raíz o lema.

Corrección de Ortografía

• Utilización del corrector ortográfico de Norvig para corregir errores de tipeo y ortografía en textos.

Reconocimiento de Entidades Nombradas (NER)

• Extracción automática de entidades como nombres de personas, organizaciones, ubicaciones usando Spacy.

Representación de Texto

• Conversión de textos a vectores numéricos utilizando técnicas como TF-IDF y Bag of Words.

Análisis de Sentimientos

• Clasificación de textos basada en el tono emocional (positivo, negativo, neutral).

Modelado de Temas

• Identificación de temas prevalentes en grandes volúmenes de texto utilizando algoritmos como LDA (Latent Dirichlet Allocation).

Embeddings de Palabras y Subpalabras

• Generación de vectores de palabras utilizando modelos como Word2Vec y técnicas para subpalabras que capturan mejor el significado y la sintaxis.

Visualización de Embeddings

• Uso de herramientas como t-SNE para visualizar la relación entre vectores de palabras en un espacio bidimensional o tridimensional.

Análisis de Sentimientos con Deep Learning

• Implementación de modelos de aprendizaje profundo para un análisis de sentimientos más sofisticado y preciso.