Rozwój technologii spowodował rewolucję zarówno w łatwości dostępu do informacji, jak i możliwości tworzenia i publikowania nowych treści, w tym wpisów na blogach czy komentarzy. Co więcej, nieco zapomniane SMS-y nadal są popularną formą porozumiewania się. Potwierdzają to dane z raportu „Komunikacja SMS w Polsce”, z których wynika, że ponad 96% Polaków korzysta z tego sposobu kontaktu. W procesie analizy i automatycznego przetwarzania danych tekstowych pomocne są narzędzia do text miningu.
Text Mining – jak to działa?
Rozwiązania z zakresu text mining, wykorzystujące sztuczną inteligencję, pozwalają z obszernych zbiorów treści uzyskać dokładny obraz wizerunku firmy, produktu, zachowań i potrzeb. Systemy wykorzystują inteligentne algorytmy oraz techniki przetwarzania języka naturalnego (NLP) w celu automatycznego wyodrębnienia relacji i wzorów wśród danych niestrukturalnych, eliminując w ten sposób potrzebę ich manualnego przeglądania.
Proces analizy danych tekstowych składa się z trzech głównych faz:
- Faza 1 – Identyfikacja źródeł danych oraz uzyskanie dostępu do nich. Potencjalne źródła to: zasoby serwerów pocztowych, przebiegi rozmów na chacie, notatki i transkrypcje rozmów Call Center, media społecznościowe, wewnątrzfirmowe repozytoria np. umów, ofert czy dokumentacji.
- Faza 2 – Właściwy proces przetwarzania i analizowania danych tekstowych. W celu podniesienia jakości działania algorytmów celowe jest wykonanie automatycznej korekty pisowni.
- Faza 3 – Konsumpcja wyników z użyciem wizualizacji lub wykorzystanie wyników jako danych wejściowych w modelowaniu wraz z danymi ilościowymi np. przy wykrywaniu nadużyć.
Przykładem wykorzystania narzędzi text mining jest zwalczanie procederu prania brudnych pieniędzy. System dokonuje analizy, skanując dokumenty handlowe pod kątem nielegalnej działalności.
Dzięki temu specjaliści ds. przestępstw finansowych mogą nadawać odpowiednie priorytety poszczególnym sprawom. Ekstrakcja umożliwia wydobywanie z dokumentów tekstowych interesujących fragmentów, takich jak imiona i nazwiska, adresy czy określenia czasu. Inny przykład to analiza sentymentu, która pomaga monitorować postrzeganie marki, produktu czy reklamy, co jest niezwykle przydatne w planowaniu działań marketingowych.
SAS Institute/RT