Organizē Botmaster Labs, nav plānots. Laika nav, videoklips ir vajadzīgs sacensībām, piemēram, jauna virziena tendence, lai gan visu ir vieglāk izskaidrot ar labiem ekrānuzņēmumiem (mans IMHO), un es īsti nevēlos kaut ko uzņemt. Tā ka rentablu ir palicis ļoti maz, stulbs surogātpasts vairs nemaz nenosaka, šeit jādomā un neviens tēmu nededzinās, ja nu vienīgi novecojušie mēģinās nedaudz iebāzt un pūderēt skaistā iesaiņojumā. :) Bet tas nav par mums. Kopumā šie 3 "nē", manuprāt, būtībā kļuva par šķēršļiem dalībai konkursā lielākajai daļai potenciālo dalībnieku. Tas ir tāpat kā salabot trīs automašīnu automašīnu: lēti, kvalitatīvi, ātri - servisā vienlaikus var izpildīt tikai 2 nosacījumus. sēdi un izvēlies to, kas ir tuvāk tev. :) Konkurss ir tāds pats: man ir laiks, es varu veidot video, bet man nav tēmas, vai es varu izveidot video, man ir tēma, bet man nav laika vispār, vai arī man ir brīvs laiks, un man ir maz temkas, bet video ir biedējošs. Bet tas ir labi, ja vienlaikus tiek izpildīti 2 nosacījumi. Nu, labi, nometīsim dziesmu tekstus. Es turpināšu pie sevis. Es neplānoju, tas nozīmē, ka es piedalījos konkursā, es pat izvēlējos, par kuru rakstu es balsošu. Sakiet to, kas jums patīk, bet Doz ļoti labi pārzina programmatūru un zina, kā to izmantot ļoti saprātīgi. Bet šodien uzzināju, ka sacensībās parādījās intriga. Izrādās, es nevarēšu balsot, bet to var izdarīt tikai iesācēji, kuri programmatūru iegādājās 2011. gadā un konkurss ir paredzēts viņiem. Es biju nedaudz pārsteigts, bet īpašnieks ir meistars. Konkurss ir reklāmas kampaņa, un Aleksandrs labāk zina, kā to vadīt. Kopumā tad es nolēmu ievietot rakstu, to ir nedaudz vieglāk uzrakstīt, kad ir skaidrs, kam, visam kolhozam, patiesībā to nav iespējams izdarīt.
Garais ievads ir beidzies, tagad pie lietas.
Kas nepieciešams iesācējam, kad viņš ir iegādājies šādu super-kombainu, kas ir Xrumer + Hrefer komplekss? Pareizi, iemācieties pie tā strādāt un atmetiet ilūziju, ka jūs varat nopelnīt naudu, sākot surogātpastu ar lapām. Ja jūs tā domājat, nekavējoties ziedojiet savu naudu labdarībai. Jums jāiemācās izmantot kompleksa rīkus, vēlams, tos asinot sev. Laiks "ņem vairāk - met vairāk" ir pagājis. Daudzums dod vietu kvalitātei. Tāpēc mēs savāksim sev bāzi, nemācieties, kā to izdarīt - jūs atpaliksit no vilciena. Protams, mums šajā jautājumā palīdzēs Hrefer. Ja plānojat reklamēt savus resursus Google tīklā, mums arī jāmeklē donoru vietnes, izmantojot Google. Es domāju, ka tas ir skaidrs un loģiski. Bet Google kā vara kalna īpašnieks nedod savu bagātību visiem. Jums ir nepieciešama pieeja tam. Es gribētu uzreiz pateikt, ka neceru, ka jūs varēsiet kaut ko savākt, pamatojoties uz zīmēm, kuras atrodat publiski. Tāpēc tie ir pieejami sabiedrībā, jo ir nevērtīgi. Es tēmu tālāk neattīstīšu. Es labāk pastāstīšu, kā pareizi salikt, lai redzētu rezultātu, pārējo pabeigsi pats, galvenais ir saprast principu. Ir nepieciešams apkopot uz pareizā pamata, pamatojoties uz konkrētiem mums nepieciešamiem dzinējiem, nevis uz forumiem kopumā. Šī ir galvenā iesācēju kļūda - nevis koncentrēties uz konkrēto, bet gan mēģināt visu aptvert kopumā. Un tomēr, ja vēlaties parsēt vairāk vai mazāk normālu bāzi, atsakieties to izmantot operatora vaicājumos. Nav "inurl:", "site:", "title" utt. Google nekavējoties aizliegs tādus meklētājus kā jūs. Tāpēc mēs rūpīgi izpētām motorus, ar kuriem Hrumer šobrīd strādā:
Darbina ar php-Fusion
Hrumer 7.07 versijā programma tiek apmācīta vairākos jaunos dzinējos:
forumi.biz, forumb.biz, 1forum.biz, 7forum.biz utt.
phpBB-fr.com, Solaris phpBB tēma
Un jaunu lietu apguves process turpinās nepārtraukti.
Kopumā mums ir jāsagatavo pareizie vaicājumi Hrefera parsēšanai. Ņemsim piemēram foruma djok. SMF forumi... Un sāksim to izjaukt daļās parsēšanai. Šajā darbā mums palīdzēs mūsu mīļais Google. Google pieprasījuma ievadīšana SMF forumi - meklēšanas rezultātos ir daudz atkritumu, mēs pārtinam uz kādu 13. lapu un izvēlamies jebkuru saiti. Es uzgāju šo: http://www.volcanohost.com/forum/index.php?topic\u003d11.0. Mēs to atveram un pārbaudām. Mums lapā ir jāatrod kaut kas raksturīgs, ko var izmantot citu šī dzinēja lapu meklēšanai. Kājenē ievērojiet šādu uzrakstu Darbina ar SMF 1.1.14, mēs to citējam un ievadām Google, tas mums parāda, ka šim pieprasījumam ir zināmas apmēram 59 miljoni opciju. Izlaist saites, pievienojiet šim atslēgvārdam vēl pāris iespējas, piemēram, Papele "Powered by SMF 1.1.14" vai "Powered by SMF 1.1.14" viagra... Mēs esam pārliecināti, ka pieprasījums ir krāšņs, jo rezultātos ir tikai forumi un gandrīz nav atkritumu.
Turklāt mūs neinteresē kvantitāte, bet gan kvalitāte, kā jau teicu iepriekš. Uz priekšu. No tā paša foruma mēs no kājenes ņemam vēl vienu frāzi: , mēs to arī citējam un piegādājam Google. Atbildot uz to, viņš atklāj, ka zina vairāk nekā 13 miljonus rezultātu. Mēs atkal pārlūkojam rezultātus, pievienojam papildu vārdus un pārbaudām rezultātus ar tiem. Mēs pārliecināmies, ka vaicājums ir lielisks un arī gandrīz nav neviena nevēlama. Kopumā jau ir 2 dzelzs pieprasījumi. Es iesaku pagaidām atstāt pirmo forumu vienu un turpināt vākt pieprasījumus pēc citiem forumiem. Par laimi, Google ir atvērts pēc pieprasījuma 2006.-2008., Simple Machines LLC... No rezultātiem, piemēram, ņemam šādus forumus: http://www.snowlinks.ru/forum/index.php?topic\u003d1062.0 un http://litputnik.ru/forum/index.php?action\u003dprintpage;topic\u003d380.0 viņu kājenēs mēs ņemam šādus vaicājumus: "Powered by SMF 1.1.7" un "Powered by SMF 1.1.10" (es vienmēr iesaku Hreferam braukt pēdiņās, jo mums vispirms ir nepieciešama kvalitāte). Es domāju, ka ir skaidrs, ko mēs darām, galu galā mums būs noteikta vaicājumu bāze, lai meklētu forumus SMF motorā (tas ir atlasīts piemēram, ar citiem dzinējiem tāpat).
Tas izskatīsies apmēram šādi:
"Darbina ar SMF 1.1.2"
"Darbina ar SMF 1.1.3"
"Darbina ar SMF 1.1 RC2"
"Darbina ar SMF 1.1.4"
"Darbina ar SMF 1.1.8"
"Darbina ar SMF 1.1.7"
"2006.-2008. Gads, Simple Machines LLC"
Un tas vēl nav viss. Apkopojot dzinēju versijas, dažos SMF forumos kājenē atrodam nadvis "2001-2006, Lewis Media". Mēs pārbaudām šo pieprasījumu, un tas mūs arī pilnībā apmierina. Mēs atrodam līdzīgu vaicājumu: "2001-2005, Lewis Media". Apskatot kājenes, mēs atrodam šādu vaicājumu: "SMFone dizains, ko izstrādājis A.M.A, pārnests uz SMF 1.1". Mēs pārbaudām - lieliski. Utt Pusstunda darba, un jums ir brīnišķīga motora vaicājumu datu bāze, un Google šiem vaicājumiem tiks aizliegts daudz retāk nekā tad, ja tajos izmantojat operatorus. Tajā pašā laikā jūsu datu bāze būs daudz tīrāka nekā tad, ja izmantojat tādus vaicājumus kā "index.php? Topic \u003d", jo šeit Google sniegs ne tikai nepieciešamos forumus, bet arī daudz atstāto resursu, kur mums tas izdevās atstājiet saiti uz foruma tēmu. Jūs varat strīdēties, viņi saka, kas tur slikts? Citi atstāja saiti, kas nozīmē, ka mēs varam. Bet! Saites var atstāt ne tikai Hrumer, bet arī citas programmas. turklāt tos var īpaši saasināt, lai komentārus atstātu noteiktā resursā, tā sauktajā ļoti specializētajā programmatūrā, kā arī šādas saites varētu atstāt ar roku. Atkal es atkārtošu, ka mums nav svarīgs atkritumu daudzums, bet gan kvalitāte, bāze ar pareizajiem pieprasījumiem, un tāpēc mēs to savāksim. Šīs metodes priekšrocība ir tā, ka jums praktiski nebūs jākonfigurē Hrefer siets -filtrs
, jūs to varat vienkārši izslēgt, jo Google jums praktiski nedos atkritumus.
Es uzskatu, ka ir ļoti svarīgi iemācīties pareizi lietot Hrefer sākotnējā posmā, jo, uzzinājis to, jūs vienmēr varat atrast Hrumer lietojumu neatkarīgi no tā, kā situācija mainās. Aizsardzība kļūst sarežģītāka, un, ja dažu veidu motoros aizsardzība ir nostiprināta un Hrumers šobrīd ar to netiek galā, tad nav jēgas tērēt resursus šo saišu savākšanai, un pēc tam strādāt ar tiem kopā ar Hrumer, labāk ir koncentrēt savus spēkus uz to, kas dod rezultātu ... Tajā pašā laikā, ja Botmaster Labs komanda iemācīja Hrumeram kaut ko jaunu, viņi var ātri sadalīt jaunu pacientu un sagatavot pamatu Hrumeram, kamēr pacients vēl ir remdens. Laiks ir nauda, \u200b\u200biespējams, ka resurss vairs nav būtisks, pērkot bāzi. kāds savācis. Turklāt pareiza pamatu savākšana sev ievērojami paplašina Hrumer "balto" lietojumu. Un tieši šeit viss virzās, vai mums tas patīk vai nepatīk, un notiek balināšanas vai pelēkošanās process. Melnas palagi ir pagātne.
Visi pārējie, jau tehniskie aspekti, kas saistīti ar darbu ar Hreferu, ir apskatāmi palīgā, un nav jēgas pie tiem pakavēties, visi mērķi-punkti-sekundes tiek empīriski noteikti katrai automašīnai atsevišķi.
Kā prēmiju es šeit ievietošu veidni ķīniešu meklētājprogrammas Baidu parsēšanai, citu dienu man par to jautāja, tāpēc es to darīju starplaikos, atvainojos par vārdu. :)
Resursdatora nosaukums \u003d http: //www.baidu.com
Vaicājums \u003d s? Wd \u003d
LinksMask \u003d
Lapas kopā \u003d 100
NextPage \u003d
NextPage2 \u003d
CaptchaURL \u003d
CaptchaImage \u003d
CaptchaField \u003d
Es mēģināju tos parsēt testā, nebija aizlieguma, Hrefers dzīvīgi vāca resursus, visi pieprasījumi parsēšanai ir līdzīgi Google, bet Ķīnas resursi ir jūra, un ar augstu PR, turklāt ir daudz vietu, kur eiropietis nav devies. Labāk ir parsēt ar ķīniešu pieprasījumiem. Tas palīdzēs Google tulkot, ierakstiet atslēgvārdu sarakstu krievu valodā un pārtulkojiet to ķīniešu valodā. Patiesība vārdus"Hrefer vārdus nevar pievienot ķīniešu valodā, jums ir jāpārkodē.
Ķīniešu vietā:
伟哥 - viagra
吉他 - ģitāra
其他 - atpūsties
保险公司 - apdrošināšana
Ievietojiet šos kodus, lai aizstātu tos vārda failā:
% E4% BC% 9F% E5% 93% A5
% E5% 90% 89% E4% BB% 96
% E5% 85% B6% E4% BB% 96
% E4% BF% 9D% E9% 99% A9% E5% 85% AC% E5% 8F% B8
Ja reklamējat apdrošināšanas vietni, tad ievietojiet saiti savā profilā tematiskā (!) Pat ķīniešu forumā, kas atrasts pēc pieprasījuma " foruma SMF "保险公司 būs ļoti jauki.
Noslēgumā es gribētu teikt, ka es nekad neesmu sapratis cilvēkus, kuri sūdzējās, ka Khreferi ir slikti vai nepieder, es vienmēr gribēju to pateikt, jūs vienkārši nezināt, kā tos pagatavot. Labāk nekā hrefer, neviens parsētājs nezina, kā apkopot rezultātus, tikai pieprasījumiem jābūt pareiziem. Hrefer ir automašīna: laba, cieta, ražota vācu valodā, bet cilvēks to vada, un viss ir atkarīgs no tā, cik gudri tas tiek vadīts, jūs nevarat piespiest automašīnu vienlaikus iet pa labi un pa kreisi.
Atsevišķa tēma ir pamatu tīrīšana, ko es kādreiz darīju pirms 3 gadiem iepriekšējam konkursam. Ar vēl vairāk viss tur joprojām ir aktuāls, bet tagad jūs varat atteikties pārbaudīt 200 OK, man patiešām nepatika šis process, kļūdas bija ļoti lielas, tika filtrētas daudzas nevajadzīgas lietas. Tagad to var izdarīt gandrīz automātiski Hrumera darba procesā, lai gan šis process nav pilnīgs analogs, lai pārbaudītu "200 OK". Kopumā līdz vietai: ne tik sen Hrumerā parādījās brīnišķīga iespēja - aplaupīt informāciju no resursiem projekta izpildes laikā. Tas izskatās šādi. Jūs braucat ar veidni, kas tiks apstrādāta procesā, un no veidnes savāktā informācija tiks ievadīta mapē Žurnāli failā xgrabbed.txt. Jūs varat izmantot šo funkciju jebkuram, iztēles lidojums ir milzīgs. Es šo funkciju izmantoju reizi nedēļā, lai no darba datu bāzes noņemtu saites, kurām beidzies derīguma termiņš. Nav noslēpums, ka forumi katru dienu nomirst, lai attīrītu bāzi no šādiem resursiem, un šajā gadījumā mums palīdzēs rīks "Autograbbing".
Galu galā jums jāatzīst, bieži ierakstot, piemēram, http://www.laptopace.com/index.php, mēs redzam, ka šis domēns jau ir, piemēram, sīkrīks, bet tur nav foruma. Tātad, lai izmestu šo izdedžu no pamatnes, mēs izlaupīsim. :) Atveriet lapas pirmkodu un skatiet šo ierakstu tur:
Tagad visi "mirušie" no goudaddi mums būs zināmi vārdā.
Šeit ir neliela izvēle rīkam "Autograbbing", ja vēlaties attīrīt datu bāzi no dažādiem domēniem, kuriem beidzies derīguma termiņš: