Text Mining: metody, narzędzia i zastosowania

SAS Text Analytics to uniwersalna platforma zaspokajająca potrzeby informacyjne w organizacji do wydobywania i zarządzania informacją dostępną w różnego rodzaju dokumentach tekstowych. Praca składa się z czterech części, w których można znaleźć następujące zagadnienia:

niezbędną interdyscyplinarną wiedzę

klasyfikację używanych metod na tle innych dziedzin zajmujących się przetwarzaniem danych

architekturę oprogramowania SAS Text Analytics

sposób reprezentacji informacji zawartej w dokumencie tekstowym

metodę analizy semantycznej wymiarów ukrytych

wybór funkcji wagującej i redukcję wymiarowości macierzy częstości

algorytmy grupowania dokumentów tekstowych: probabilistyczne i hierarchiczne

sposoby zarządzania informacją w organizacji

klasyfikację dokumentów

analizę sentymentu

bezpośrednie porównywanie treści dokumentów za pomocą miar odległości kosinusowej i metryki Jaccarda

zasady wydobywania jednostek specjalnych

sposoby wizualizacji danych tekstowych

polsko-angielski słownik pojęć z dziedziny eksploracji danych tekstowych

zarys zagadnień dotyczących programowania w środowisku SAS: podstawy języka 4GL języka makr

wykaz literatury tematycznej

Możliwości omówionych narzędzi i zaimplementowanych algorytmów zostały zilustrowane na przykładach zbiorów danych z różnych dziedzin: zbioru krótkich wypowiedzi dotyczących sportu, pogody i zwierząt, zbioru opisów radiologicznych badań diagnostycznych jamy brzusznej oraz zbioru opinii użytkowników na temat telefonów z forów użytkowników