Luppar News-Rec (Recomendador Inteligente de Notícias)

O Luppar News-Rec (Versão 1) é fruto da minha dissertação de Mestrado, mais detalhes sobre – visualize aqui! É um Sistema Recomendador de Notícias (SRN) composto por algoritmos clássicos de classificação que trabalham em conjunto com representações de documentos para solucionar o problema de classificação de notícias de forma a trazer os documentos(notícias) que atendam a necessidade do usuário. A metodologia que segue esse trabalho divide os esforços da implementação do SRN em três etapas: Subsistema de Captura, Pré-Processamento e Armazenamento, Subsistema de Classificação de Notícias e Subsistema de Aquisição de Perfil de Assinantes e Distribuição.

Recursos do Luppar News-Rec

News Recommender System using Word Embeddings for study and research.

Disponível em: http://luppar.com/recommender (não mais disponível)

Coleções de documentos

Z5News (Coleção em Inglês com 5 tópicos)
- sportsNews, politicsNews, technologyNews, PersonalFinance e brazil-news
Z5NewsBrasil (Coleção em Portugues com 5 tópicos)
- esporteNews, politicaNews, tecnologiaNews, financaPessoal e educacaonews
Z12News (Coleção em Inglês com 12 tópicos)
- sportsnews, politicsNews, technologyNews, PersonalFinance, brazil-news, aerospace-defense, autos, commoditiesNews, fundsNews, foreignexchangeNews, healthnews e environmentnews

Representações de Documentos

FastText + E2V-IDF (Representação Embedding: FastText combinada com a abordagem E2V-IDF (ponderada por IDF))
Word2Vec + E2V-IDF (Representação Embedding: Word2Vec combinada com a abordagem E2V-IDF (ponderada por IDF))
BoW (Representação Bag-of-Words – saco de palavras)

Classificadores de Texto

SVM (RBF) (Classificador SVM – Support Vector Machine com Kernel: RBF – Radial Basis Function)
Random Forest (RF) (Classificador Random Forest – Floresta Aleatória)

Receba notícias por E-mail (Crie seu perfil de Assinante)

Informe seu e-mail caso deseje receber notícias diariamente (1x) via e-mail.

Para salvar seu perfil de assinante:
- informe seu e-mail, escolha os tópicos de sua preferência e clique no botão: Recomendar.

Métricas

Informe Sim caso deseje que as métricas da combinação escolhida sejam expostas na tela.

Botões

Recomendar (Recomenda notícias, já armazenadas no Luppar News-Rec, conforme as seleções realizadas)
Baixar e Recomendar (Baixa as últimas notícias, faz o pré-processamento, Classifica as novas notícias com base no modelo treinado para a combinação escolhida e recomenda as notícias com base nos tópicos selecionados)
- Subsistema 1 – Baixar (web crawler), Pré-Processar (Remoção de Pontuação, Numeração, StopWords, aplicado Stemming) e armazenamento das notícias;
- Subsistema 2 – Classificar de forma automática em tópicos, fazendo uso de Machine learning, as notícias armazenadas na etapa anterior (Subsistema 1), utilizando combinações entre representação de documentos e classificadores de texto;
- Subsistema 3 – Recomenda as notícias classificadas em tópicos na etapa anterior (Subsistema 2) com base nas preferências dos usuários (utilizando abordagem baseado em conteúdo (subscrição em itens)).

Melhores combinações (DICA)

Para a coleção Z5News
- Representação: FastText + E2V-IDF + Classificador: SVM (RBF);
Para a coleção Z5NewsBrasil
- Representação: BoW + Classificador: Random Forest (RF);
Para a coleção Z12News
- Representação: Word2Vec + E2V-IDF + Classificador: SVM (RBF).