Subiect php index index cauzat de smf. Detectarea automată a motorului forum
Să începem imediat cu codul principal de script:
#! / usr / bin / perl
# care-forum.pl script # (c) 2010 Alexandr A Alexeev, http: // site /
utilizați strict;
# liniile comentate - pentru strictete # dacă sarcina este de a colecta statistici despre motor, lăsați-o așa cum este # dacă faci o listă de forumuri - necomentează
datele mele $; $ date. \u003d $ _ while (<>
)
;
# verificați cât a fost Powered by phpBB fără link în subsol print "phpbb \\ n " if ($ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (?: www \\.)? phpbb \\ .com \\ /? "[^\u003e] *\u003e phpBB / i sau # $ data \u003d ~ /viewforum\\.php\\?†^""")*f\u003d\\d+/i sau $ data \u003d ~ / phpBB \\ -SEO / i sau $ date \u003d ~ /)
;
print "ipb \\ n " if ($ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (?: www \\.)? invision (?: board | power) \\. com \\ /? [^ "] *" [^\u003e] *\u003e [^<]*IP\.Board/i
sau $ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (?: www \\.)? invisionboard \\ .com \\ /? "[^\u003e] *\u003e Invision Power Board / i sau $ date \u003d ~ /
/ i sau $ date \u003d ~ /index\\.php\\?†^""†*showforum\u003d\\d+/i)
;
print "vbulletin \\ n " if ($ date \u003d ~ / Dezvoltat de :? [^<]+vBulletin[^<]+(?:Version)?/i
sau $ date \u003d ~ /)
;
print "smf \\ n " if ($ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (?: www \\.)? simplemachines \\ .org \\ /? "[^\u003e] *\u003e Powered by SMF / i sau $ date \u003d ~ /index\\.php\\?†^"""*board\u003d\\d+\\.0/i)
;
print "punbb \\ n " if ($ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (? :(?: www \\.)? punbb \\ .org | punbb \\ .informer \\ .com) \\ /? "[^\u003e] *\u003e PunBB / i); #sau # $ data \u003d ~ /viewforum\\.php\\?†^"""*id\u003d\\d+/i); print "fluxbb \\ n " # if ($ data \u003d ~ /viewtopic\\.php\\?id\u003d\\d+/i sau if ($ date \u003d ~ /] + href \u003d "http: \\ / \\ / (?: www \\.) fluxbb \\ .org \\ /?" [^\u003e] *\u003e FluxBB / i)
;
print "exbb \\ n " if ($ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (?: www \\.)? exbb \\ .org \\ /? "[^\u003e] *\u003e ExBB / i); # sau # $ data \u003d ~ /forums\\.php\\?†^"""*forum\u003d\\d+/i); print "yabb \\ n " if ($ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (?: www \\.)? yabbforum \\ .com \\ /? "[^\u003e] *\u003e YaBB / i sau $ data \u003d ~ /YaBB\\.pl\\?†^"""**num\u003d\\d+/i); print "dleforum \\ n " if ($ date \u003d ~ / \\ (Dezvoltat de DLE Forum \\)<\/title>/ i sau $ date \u003d ~ /] + href \u003d "[^"] + (?: http: \\ / \\ / (?: www \\.)? dle \\ -files \\ .ru | act \u003d copyright) [^ "] *"\u003e Forum DLE<\/a>/ i)
;
print "ikonboard \\ n " if ($ date \u003d ~ /] + href \u003d "[^"] * http: \\ / \\ / (?: www \\.)? ikonboard \\ .com \\ /? [^ "] *" [^\u003e] *\u003e Ikonboard / i sau $ date \u003d ~ /\\ n " if ($ date \u003d ~ /\\ n " # if ($ data \u003d ~ /forums\\.php\\?fid\u003d\\d+/i sau # $ data \u003d ~ /topic\\.php\\?fid\u003d\\d+/i sau if ($ date \u003d ~ /] + href \u003d "http: \\ / \\ / (?: www \\.)? flashbb \\ .net \\ /?" [^\u003e] *\u003e FlashBB / i)
;
print "stokesit \\ n " # if ($ data \u003d ~ /forum\\.php\\?f\u003d\\d+/i sau if ($ date \u003d ~ /] + href \u003d "http: \\ / \\ / (?: www \\.)? stokesit \\ .com \\ .au \\ /?" [^\u003e] *\u003e [^ \\ /] * Stokes IT / i)
;
print "podium \\ n " # if ($ data \u003d ~ /topic\\.php\\?t\u003d\\d+/i sau if ($ date \u003d ~ /] + href \u003d [""]? http: \\ / \\ / (?: www \\.)? sopebox \\ .com \\ /? [""]? [^\u003e] *\u003e Podium / i)
;
print "usebb \\ n " # if ($ data \u003d ~ /forum\\.php\\?id\u003d\\d+/i sau if ($ date \u003d ~ /] + href \u003d "http: \\ / \\ / (?: www \\.)? usebb \\ .net \\ /?" [^\u003e] *\u003e UseBB / i)
;
print "wrforum \\ n " # if ($ data \u003d ~ /index\\.php\\?fid\u003d\\d+/i sau if ($ date \u003d ~ /] + href \u003d "http: \\ / \\ / (?: www \\.)? wr \\ -script \\ .ru \\ /?" [^\u003e] *\u003e WR \\ -Forum / i)
;
print "yetanotherforumnet \\ n " if ($ date \u003d ~ / încă un alt forum \\ .net / i sau $ date \u003d ~ /default\\.aspx\\?g\u003dposts&t\u003d\\d+/i)
;
Veți găsi acest și alte scripturi menționate în postarea din această arhivă.
Script which-forum.pl examinează codul paginii html pentru prezența semnăturilor motorului de forum în ea. Am folosit o tehnică similară la definirea WordPress și Joomla, dar există câteva diferențe. În primul rând, scriptul în sine nu încarcă codul paginii, ci îl citește din stdin sau dintr-un fișier transmis ca argument. Acest lucru vă permite să încărcați pagina o dată, de exemplu, utilizând wget și apoi să o rulați prin mai multe analizoare, dacă avem mai multe. În al doilea rând, în acest script, prezența unei semnături este 100% un semn al motorului. Ultima dată prezența semnăturii a dat greutate doar motorului corespunzător și motorului cu cea mai mare greutate „câștigat”. Am decis că, în acest caz, această abordare nu va complica decât inutil codul.
Pentru a testa modul în care funcționează scenariul, am făcut câteva cercetări. Am făcut o listă de câteva mii de forumuri și am rulat fiecare dintre ele prin scriptul meu, determinând astfel procentul declanșatorilor de programe și popularitatea diferitelor motoare.
Am folosit parserul meu Google pentru a obține o listă de forumuri. Motorul de căutare a trimis solicitări de genul
etc. Codul complet al generatorului de interogări poate fi găsit în fișier gen-forumsearch-urls.pl... Pe lângă zone.ru, s-au folosit și .su .ua .kz și.by. A fost dificil să facem această cercetare ultima dată, deoarece site-urile WordPress și Joomla nu au astfel de semnături în URL. Catalogele precum cmsmagazine.ru/catalogue/ nu oferă o dimensiune suficientă a eșantionului. Ce sunt 600 de site-uri Drupal?
Trebuie să recunosc, rezultatele experimentului m-au supărat. Din cele 12.590 de situri studiate, doar 7083 au fost identificate cu succes cu motorul, adică doar în 56% din cazuri. Poate mi-a fost dor de un motor? Bitrix a fost într-adevăr pe jumătate din forumuri? Sau ar trebui să petrec mai mult timp căutând semnături? În general, sunt necesare mai multe cercetări aici.
Printre 56% dintre motoarele identificate cu succes, cele mai populare, așa cum era de așteptat, au fost IPB (31%), phpBB (26,6%) și vBulletin (26,5%)
Acestea sunt urmate îndeaproape de SMF (5,8%) și DLEForum (5,3%). PunBB-ul meu preferat a fost doar pe locul 6 (1,64%). Nu aș recomanda încrederea fermă în aceste cifre (spun ei, fiecare al treilea forum din RuNet funcționează pe IPB), dar se pot trage, desigur, anumite concluzii.
De exemplu, dacă intenționați să creați un site web pe un motor de forum și intenționați să modificați forumul, să zicem, plătiți utilizatorilor 0,01 USD pentru fiecare mesaj cu retragerea automată a fondurilor o dată pe săptămână, atunci ar trebui să alegeți unul dintre cele trei motoare cele mai populare. Cu cât este mai popular un forum, cu atât este mai probabil să găsești un programator care să fie foarte versat în el.
Dacă nu sunt de așteptat modificări semnificative ale motorului, atunci ar putea avea sens să nu alegeți cel mai popular motor, de exemplu SMF sau punBB. Acest lucru va reduce numărul atacurilor hackerilor pe forumul dvs. și cantitatea de spam trimis automat pe acesta.
Scripturile pentru căutarea / definirea forumurilor pot fi, de asemenea, găsite în mai multe aplicații practice. Primul lucru care mi-a venit personal în minte a fost să sortez forumurile identificate de TCI și să le plasez pe prima sută de postări cu linkuri către unul dintre site-urile lor. Cu toate acestea, o sută de link-uri dofolllow pe forum nu au afectat TCI în niciun fel (au trecut 2 actualizări), deci este mai bine să nu pierdeți timpul aici, cu excepția cazului în care sunteți interesat de tranziții.
Este clar că utilizarea numită a scripturilor este departe de a fi singura. Cred că poți să îți dai seama cu ușurință cum poți să le folosești altfel.
Organizat de Botmaster Labs, neplanificat. Nu este timp, videoclipul este necesar pentru competiție, ca o tendință nouă, deși este mai ușor să explic totul cu capturi de ecran bune (IMHO-ul meu) și nu prea vreau să filmez nimic. Așa că au rămas foarte puțini profitabili, spamul prost nu mai guvernează deloc, aici trebuie să te gândești și nimeni nu va arde subiectul, dacă doar cei învechi încearcă să împingă și să pudreze puțin într-un învelitor frumos. :) Dar nu este vorba despre noi. În general, aceste 3 „nu”, cred, practic au devenit barierele în calea participării la competiție pentru majoritatea participanților potențiali. Este ca și cum ai repara o mașină din trei: ieftine, de înaltă calitate, rapide - serviciul poate îndeplini doar 2 condiții în același timp. stai și alege ceea ce este mai aproape de tine. :) Concurența este aceeași: am timp, pot face videoclipuri, dar nu am un subiect, sau pot face un videoclip, am un subiect, dar nu am deloc timp, sau am timp liber și am puțin temka, dar videoclipul este înfricoșător. Dar este bine dacă sunt îndeplinite simultan 2 condiții. Ei bine, bine, să renunțăm la versuri. Voi continua pentru mine. Nu am planificat, ceea ce înseamnă că am luat parte la concurs, chiar am ales pentru ce articol să votez. Spuneți ce vă place, dar Doz știe foarte bine software-ul și știe să îl folosească foarte sensibil. Dar astăzi am aflat că intriga a apărut în competiție. Se pare că nu voi putea vota, dar numai începătorii care au achiziționat software-ul în 2011 și competiția este concepută pentru ei o pot face. Am fost puțin surprins, dar proprietarul este un maestru. Competiția este o campanie publicitară și Alexander știe mai bine cum să o desfășoare. În general, atunci am decis să postez un articol, este ceva mai ușor de scris când este clar pentru cine, pentru întreaga fermă colectivă, de fapt, acest lucru este imposibil de făcut. Lunga introducere s-a încheiat, acum la obiect. De ce are nevoie un începător când a achiziționat o astfel de super-recoltatoare, care este complexul Xrumer + Hrefer? Așa este, învață să lucrezi la el și renunță la iluzia că poți câștiga bani începând să faci spam cu foi. Dacă credeți că da, donați-vă banii pentru caritate imediat. Trebuie să învățați cum să utilizați instrumentele complexului, de preferință ascuțindu-le pentru dvs. Timpul „ia mai mult - aruncă mai mult” a dispărut. Cantitatea cedează calității. Deci, vom colecta baza pentru noi înșine, nu învățați cum să faceți acest lucru - veți rămâne în urma trenului. Desigur, Hrefer ne va ajuta în acest sens. Dacă intenționați să vă promovați resursele pe Google, atunci trebuie să căutăm și site-uri de donatori prin Google. Cred că acest lucru este clar și logic. Dar Google, în calitate de proprietar al muntelui de cupru, nu dă bogăția tuturor. Ai nevoie de o abordare. Aș dori să spun imediat că nu sper că veți putea colecta ceva prin semnele pe care le găsiți în public. Deoarece sunt disponibile în public, nu au valoare. Nu voi dezvolta subiectul mai departe. Mai bine vă spun cum să îl asamblați corect, astfel încât să vedeți rezultatul, veți termina singur restul, principalul lucru este să înțelegeți principiul. Este necesar să colectăm pe baza corectă pe baza motoarelor specifice de care avem nevoie, și nu pe baza forumurilor în general. Aceasta este principala greșeală a începătorilor - nu să se concentreze asupra specificului, ci să încerce să acopere totul în întregime. Și totuși, dacă doriți să analizați o bază mai mult sau mai puțin normală, refuzați să o utilizați în interogările operatorului. Fără "inurl:", "site:", "title" etc. Google va interzice instantaneu căutătorii ca dvs. Prin urmare, studiem cu atenție motoarele cu care lucrează Hrumer în prezent:
Dezvoltat de php-Fusion
În versiunea Hrumer 7.07, programul este instruit în mai multe motoare noi:
forumi.biz, forumb.biz, 1forum.biz, 7forum.biz etc.
phpBB-fr.com, tema Solaris phpBB
Și procesul de învățare a lucrurilor noi continuă continuu. În general, trebuie să pregătim interogările corecte pentru analiza de către Hrefer. Să luăm de exemplu un forum djok. Forumurile SMF... Și să începem să îl dezasamblăm în părți pentru analiză. Iubitul nostru Google ne va ajuta în acest sens. Introducerea unei solicitări Google Forumurile SMF - există o mulțime de gunoaie în rezultatele căutării, revenim la o pagină a 13-a și selectăm orice link. Am dat peste acesta: http://www.volcanohost.com/forum/index.php?topic\u003d11.0. O deschidem și o examinăm. Trebuie să găsim ceva caracteristic pe pagină care să poată fi aplicat căutării altor pagini de pe acest motor. În subsol, observați următoarea inscripție Alimentat de SMF 1.1.14, îl cităm și îl introducem în Google, ne arată că pentru această cerere, știe aproximativ 59 de milioane de opțiuni. Evitați linkurile, adăugați câteva opțiuni la acest cuvânt cheie, de exemplu, Plop "Alimentat de SMF 1.1.14" sau Viagra "Powered by SMF 1.1.14"... Suntem convinși că solicitarea este superbă, în rezultate există doar forumuri și aproape niciun gunoi pentru dvs.
În plus, nu ne interesează cantitatea, ci calitatea, așa cum am spus mai sus. Dați-i drumul. Din același forum, luăm o altă frază din subsol: , îl cităm și îl transmitem către Google. Ca răspuns, el dezvăluie că știe mai mult de 13 milioane de rezultate. Parcurgem din nou rezultatele, adăugăm cuvinte suplimentare și verificăm rezultatele cu ele. Ne asigurăm că interogarea este extraordinară și, de asemenea, nu are niciun fel de junk. În general, există deja 2 cereri de fier. Vă sugerez să lăsați primul forum singur pentru moment și să continuați să colectați cereri pentru alte forumuri. Din fericire, Google este deschis la cerere 2006-2008, Simple Machines LLC... Luăm de la SERP, de exemplu, aceste forumuri: http://www.snowlinks.ru/forum/index.php?topic\u003d1062.0 și http://litputnik.ru/forum/index.php?action\u003dprintpage;topic\u003d380.0 în subsolurile lor luăm următoarele interogări: "Powered by SMF 1.1.7" și "Powered by SMF 1.1.10" (Îți sfătuiesc întotdeauna să introduci ghilimele pentru Hrefer, pentru că avem nevoie de calitate în primul rând). Cred că este clar ce facem, în final vom avea o anumită bază de interogări pentru a căuta forumuri pe motorul SMF (este selectat pentru un exemplu, cu restul motoarelor la fel). Va arăta cam așa:
„Alimentat de SMF 1.1.2”
„Alimentat de SMF 1.1.3”
„Alimentat de SMF 1.1 RC2”
„Alimentat de SMF 1.1.4”
„Alimentat de SMF 1.1.8”
„Alimentat de SMF 1.1.7”
„2006-2008, Simple Machines LLC”
Și asta nu este tot. În timp ce colectăm versiunile motoarelor, pe unele forumuri SMF din subsol găsim nadvisul "2001-2006, Lewis Media". Verificăm această solicitare, de asemenea, ne satisface pe deplin. Găsim o interogare similară: „2001-2005, Lewis Media”. Parcurgând subsolurile, găsim următoarea interogare: „SMFone design by A.M.A, ported to SMF 1.1”. Verificăm - excelent. Etc. O jumătate de oră de lucru și aveți o bază de date minunată de interogări pentru motor, iar Google va fi interzis pentru aceste interogări mult mai rar decât dacă utilizați operatori în ele. Și, în același timp, baza de date va fi mult mai curată decât dacă folosiți interogări precum „index.php? Topic \u003d”, deoarece aici Google va oferi nu numai forumurile de care avem nevoie, ci și o mulțime de resurse rămase în care am reușit lăsați un link către subiectul forumului. Se poate argumenta, spun ei, ce este în neregulă cu asta? Alții au lăsat o legătură, așa că putem. Dar! Linkurile pot lăsa nu numai Hrumer, ci și alte programe. în plus, pot fi ascuțite special pentru a lăsa comentarii într-o anumită resursă, așa-numitul software extrem de specializat, plus că astfel de legături ar putea fi lăsate manual. Din nou, repet, nu cantitatea de gunoi este importantă pentru noi, ci calitatea, baza cu solicitările corecte și așa vom colecta. Avantajul acestei metode este că practic nu este nevoie să configurați în Hrefer sită -filtru
, îl puteți opri pur și simplu, deoarece Google practic nu vă va da gunoi.
Cred că este foarte important să învățați cum să utilizați Hrefer în stadiul inițial corect, deoarece, învățând acest lucru, puteți găsi oricând o utilizare pentru Hrumer, indiferent de modul în care se schimbă situația. Protecțiile devin mai complicate și dacă pe unele tipuri de motoare protecția a fost consolidată și Hrumer nu poate face față în acest moment, atunci nu are sens să cheltuiți resurse pentru colectarea acestor legături și apoi să lucrați la ele cu Hrumer, este mai bine să vă concentrați eforturile asupra a ceea ce dă rezultatul ... Și, în același timp, dacă echipa Botmaster Labs l-a învățat pe Hrumer ceva nou, ei pot diseca rapid un nou pacient și pot pregăti o bază pentru Hrumer în timp ce pacientul este încă călduț. Timpul înseamnă bani, este posibil ca resursa să nu mai fie relevantă atunci când cumpărați baza. culese de cineva. În plus, colecția corectă de baze pentru dumneavoastră extinde semnificativ utilizarea „albă” a Hrumer. Și tocmai aici se mișcă totul, indiferent dacă ne place sau nu, și procesul de albire sau îngrășare se desfășoară. Cearșafurile negre fac parte din trecut. Restul, aspecte deja tehnice ale colaborării cu Hrefer, pot fi vizualizate în ajutor și nu are sens să ne oprim, toate obiectivele-puncte-secunde sunt stabilite empiric pentru fiecare mașină individual. Ca bonus, voi posta aici un șablon pentru analiza motorului de căutare chinez Baidu, zilele trecute am fost întrebat despre asta, așa că am făcut-o între timp, îmi pare rău pentru jocul de cuvinte. :)
Am încercat să le analizez într-un test, nu a existat nici o interdicție, Hrefer a colectat resurse în mod viu, toate cererile de analiză au fost similare cu cele ale Google, dar resursele chinezești au fost o mare și cu un PR ridicat și, în plus, au existat multe locuri în care europenii nu au pășit. Este mai bine să analizați cererile chinezești. Traducerea Google va ajuta în acest sens, introduceți o listă de cuvinte cheie în limba rusă și traduceți-o în chineză. Adevărul în " cuvinte„Cuvintele Hrefer nu pot fi adăugate în chineză, trebuie să recodificați. În loc de chineză:
伟哥 - viagra
吉他 - chitara
其他 - odihnă
保险公司 - asigurare
Puneți aceste coduri pentru a le înlocui în fișierul cuvânt:
% E4% BC% 9F% E5% 93% A5
% E5% 90% 89% E4% BB% 96
% E5% 85% B6% E4% BB% 96
% E4% BF% 9D% E9% 99% A9% E5% 85% AC% E5% 8F% B8
Dacă promovați un site web pentru asigurări, atunci plasând un link în profilul dvs. pe un forum tematic (!) Chiar și chinezesc găsit la cerere " forum SMF "保险公司 va fi foarte frumos. În concluzie, aș vrea să spun că nu am înțeles niciodată oameni care s-au plâns că Khreferii sunt răi sau nu analizează, am vrut mereu să spun asta, pur și simplu nu știi cum să-i gătești. Mai bine decât un hrefer, niciun analizator nu știe cum să colecteze rezultate, ci doar cererile trebuie să fie corecte. Hrefer este o mașină: bună, solidă, fabricată în limba germană, dar o persoană o conduce și totul depinde de cât de inteligent este condus, nu poți forța mașina să meargă la dreapta și la stânga în același timp. Un subiect separat este curățarea bazelor, o făceam odată acum 3 ani pentru competiția anterioară. Cu mai mult, totul este încă relevant acolo, dar acum puteți refuza să verificați 200 de OK, chiar nu mi-a plăcut acest proces, erorile au fost foarte mari, o mulțime de lucruri inutile au fost filtrate. Acum acest lucru se poate face aproape automat în procesul muncii lui Hrumer, deși acest proces nu este un analog complet al verificării „200 OK”. În general, la obiect: nu cu mult timp în urmă în Hrumer, a apărut o oportunitate minunată - de a jefui informații din resurse în momentul derulării proiectului. Arată așa. Conduceți într-un șablon care va fi procesat în proces, iar informațiile colectate din șablon vor fi introduse în fișierul xgrabbed.txt din folderul Jurnaluri. Puteți folosi această funcție pentru orice, zborul imaginației este imens. Folosesc această funcție o dată pe săptămână pentru a elimina linkurile din baza de date funcțională. Nu este un secret faptul că forumurile mor în fiecare zi pentru a curăța baza de astfel de resurse și instrumentul „Autograbbing” ne va ajuta în acest caz. La urma urmei, trebuie să recunoașteți, de multe ori tastând, de exemplu, http://www.laptopace.com/index.php, vedem că acest domeniu este deja, de exemplu, un gaddyad, dar nu există un forum acolo. Deci, pentru a arunca această zgură din bază, vom jefui. :) Deschideți codul sursă al paginii și vedeți această intrare acolo:
laptopace.com
Pentru apucare, transformă-l în
[...]
Acum toți „morții” din goudaddi ne vor fi cunoscuți pe nume. Iată o selecție mică pentru instrumentul „Autograbbing”, dacă doriți să curățați baza de date de diferite domenii „expirate”:
