Source: http://echo.edres.org:8080/betsy/2models.htm
Postoje dvije dominantne Bayesova modela za klasifikaciju teksta, kako se zovu naivne Bayes modele jer pretpostavljamo uvjetnu neovisnost.
Uz Multivarijatne Bernoullijeva modela, svaki esej promatra kao poseban slučaj svih kalibriranim značajke. Kao što je u prikazanom primjeru, prisutnost ili ne-postojanje svih umjerenih mogućnosti se ispituje. Tipičan Bayesova mreža aplikacija, ovaj pristup se koristi u klasifikaciji teksta by Lewis (1992), Kalt i Croft (1996) i drugi.
Pod Bernoullijeva modela, uvjetno vjerojatnost prisutnosti svakog pojma procjenjuje se udio dokumenata unutar svake kategorije koje sadrže pojam. Frekvencije se zasije 1 kako bi se spriječilo nula vjerojatnosti koje a) se naginje jednosmjerno, te b) će dominirati izračune. Ovo Laplacian korekcija. Uvjetni Vjerojatnosti odsutnosti pojma su 1 minus vjerojatnosti pojmovima prisutnosti. Budući da je svaki pojam u vokabularu treba ispitati, ovaj model može taker dugo vremena kako bi izračunali.
Uz Multinomijalni modela, svaki esej se gleda kao na uzorku od kalibriranim značajke. Vjerojatnost svakog rezultat za određenu eseju se izračunava kao umnožak vjerojatnosti značajki sadržanih u eseju. Često se koristi u prepoznavanje govora, gdje se naziva „unigramskoj jezični model”, ovaj pristup je korišten u klasifikaciji teksta u Mitchell (1997), McCallum, Rosenfeld i Mitchell (1998) i drugi.
Pod multinomijalni modela, uvjetno vjerojatnost prisutnosti svakog pojma procjenjuje po učestalosti izraza u svakoj kategoriji podijeljena s učestalošću svih uvjeta unutar kategorije. Opet, Laplacian korekcija se koristi i frekvencije cijepljena 1.
McCallum i Nigam (1998) pokazali su da je nekoliko skupova podataka, multinomijalni model točni kao i točniji od Bernoullijeva modela. Od eseji često zabio temelji na prisutnosti ili odsutnosti mogućnosti, istraživanje je potrebno prije bilo kakve zaključci mogu izvući s obzirom na esej bodovanje.
Uvjetno neovisnosti – naivi Bayes pretpostavka
Naivni Bayes pretpostavka je da red riječi je nevažno, a time i da prisutnost jedne riječi ne utječe na prisutnost ili odsutnost drugu riječ i. To je pretpostavka očito teško povrijeđena na engleskom jeziku. Učinak je da su stražnji klasifikacija vjerojatnosti su ekstremni – često vrlo blizu nule ili jedan. Domingos i Pazzani (1997) pokazali su da je točnost klasifikacije nije ozbiljno utječe kršenja ovih pretpostavki.
