@tothbenedek pár perce "jelentette be", hogy éles a turulcsirip.hu tesztváltozata, ami a twitter streaming API-ját is használja.

Meglepő a bejelentés (és könnyen lehet félreértelmeztem), mert a twitter streaming API-ja jelenleg alpha állapotban van. Ha az alpha streaming API már alkalmas olyan méretű twitter mashup kiszolgálására mint a turulcsirip.hu, akkor hamarosan következhet a béta verzió, ami egy nagy lépéssel közelebb viszi a twittert a real-time-web platform eléréséhez.

@tothbenedek jelenleg úton van a #csiripest -re, így a konfirmjára még várni kell.

turulcsirip.hu streaming api

Korábbi twitter api-val kapcsolatos postokban már írtam arról, hogy a twitter (egyik) lelke, a retweet. A twitter API hamarosan támogatni fogja a retweetet, azaz natív támogatást ad a tweetek életútjának követéséhez. Természetesen a twitter API-val párhuzamosan a twitter.com felülete is megkapja a retweet funkciók kezelhetőségét GUI-ról.

Sajnos a twitternél még mindig performance jellegű problémákkal küzdhetnek, számos korlátozással fogják élesíteni a retweetek lekérdézését. Így például egy tweethez kapcsolódó retweetekből maximum az utolsó százat tudjuk lekérdezni.

A funkció bevezetése szakaszosan történik majd, először teszt jellegel pár felhasználó számára lesz elérhető. Konkrét release date még nincs.

A retweet funkciók igazi nyertesei a mashup és kliens készítők lehetnek, látványos retweet tree és wave megjelenítéseket jósolok a közeljövőre.

A twitter API a következő funkciókkal bővül:

Timeline Methods

statuses/retweeted_by_me

Returns the 20 most recent retweets posted by the authenticating user.

statuses/retweeted_to_me

Returns the 20 most recent retweets posted by the authenticating user's friends.

statuses/retweets_of_me

Returns the 20 most recent tweets of the authenticated user that have been retweeted by others.

Status Methods

statuses/retweet

Retweets a tweet. Requires the id parameter of the tweet you are retweeting.

statuses/retweets

Returns up to 100 of the first retweets of a given tweet.

Korábban már írtam a twitter spamről és részletesen bemutattam, hogyan is működnek a twitter spam robotok. Hamisítottam tweeteket, üzembe állítottam 4-5 saját spam robotot, amit csak lehetett retweeteltek a botok. Pár hét, hónap késéssel pedig a bit.ly API segítségével lehúztam a bit.ly-n keresztűl fűzött urlek statisztikáját.

A módszerről röviden, felfrissítendő a project hátterét.

A twitter API-n keresztűl szondáztam a twitter public time line-t és ha a botokhoz (hashgoogle, hashbing) passzoló tweetet találtam, a botok kikapták az tweetben szereplő web címeket és átalakították a bit.ly apival saját short urlre. Ha már eleve shortenelt web cím volt, az untinyurl apival visszaalakították az eredeti webcímet, majd bitlyvel rövidítették. A tweetet ezután retweetként beküldték a twitter zajába.

A robotok ily módon rengeteg status updatet követtek el,  gyűjtögették a követőket. A @hashgoogle rekordja kb. 1,200 követő, a @hashbing kb. 900 követőig „fejlődött”. Természetesen a twitter egy idő után nem nézte jó szemmel a botokat. Bár account suspend-re nem került sor, azért a botok status updatejeit eltüntették a keresőből és public time line-ból.

A lényeget egy táblázatba foglaltam össze, ami szerintem magáért beszél. Ha tömeg felkap valamit akkor az pörög. A twitter zajában azonben nehéz nulla branddel érvényesülni, csak és kizárólag lopott tartalommal középszerű eredmények érhetőek el.

A valódi sikert az igazi, saját magunk által előállított tartalom hozhat. Ha felkapja a tömeg.

A twitter kapcsán mindig sikerül vitába keverednem a régi, .comos aranyásó generáció tagjaival. Számukra a twitter csak egy rosszul kivitelezett webes irc kliens, de számukra - csak hogy egy picit égjenek-, a blogok csak anigif mentes personal home pagek.

Általában eldöntetlen marad a vita, nincs egyik oldalon se nyerőérv, nincsenek új gondolatok, megértjük egymást, de a meggyőzés nem sikerül.

Az irc kapcsán már léteztek meme oldalak, amikre botok gyűjtötték az urleket, a nagy forgalmú irc csatornák szociológia hálója már a twitter előtt is azt mutatta, hogy a userek 90%-ka magában beszél. Az irc-en is létezik geolocation egy egyszerű whois paranccsal lekérhetőek adatok a userekről. Indexes újságírók már az irc-en (ircnet#indexhu) is pörögtek. Semmi újdonság.

Nehéz amellett érvelni, hogy a twitter valóban egy új platform, és nem csak egy irc remix, ügyesen marketingelve. Nehéz elmagyarázni, hogy a twitter mennyivel nyíltabb mint az irc. Nem érv, hogy az irc 1988 óta, lényegét tekintve gyakorlatilag változatlan. Az irc-t hype valahogy elkerülte, az MSN a géppel együtt jött, a legtöbb kliens minden fantázia nélkül, totál karakteres megjelenítéssel tolta ki az irces üzeneteket.

A twitter.com weblap valóban nem egy új platform. Egyetlen egy a sok mashup közül, ami lehetővé teszi a twitter használatát.

A twitter API már valóban új platform. Minden hibája ellenére, a twitter API jóval több lehetőséget rejt magában, mint a legtöbb kommunikációs platform. Minden jelenlegi twitter klienst természetesen nem ismerhettek, de az a tucatnyi kliens, ami megfordult valamelyik kütyümön vagy a cloudban ugrott elém, még nagyon messze jár attól, hogy teljes egészében kihasználja a twitter API által nyújtott lehetőségeket.

A twitter API pontosan azt az opensource közösségre jellemző multi group collaboration szellemiséget képviseli, amit a .comos aranyásó srácként annyira kedvelünk, de a twitter kapcsán valahogy nem látnak meg az öregek. A twitter API megadja azt a lehetőséget, hogy tudj mindenről, ami a twitteren történik. Míg az irc kapcsán korlátozott módon volt elérhető az információ, a twitter kis túlzással az információ annyira szabad, amennyire csak lehet.

Ez az, amitől a twitter platformá vált(hat). Szabadonáramló, nyílt kommunikációs platform.

Talán csak annyi kellene, hogy twitter.com modem sípolást adjon ki magából megnyitáskor.

"Hello, jön a realtime info:"

Az elmúlt hetek rengeteg esemény történt a twitter háza táján. Igyekeztem megállni, hogy korán alkossak véleményt, egy olyan over hyped szolgáltatás esetében, mint a twitter, általában csak az információk töredéke kerül közmonitorra. Az is óvatosságra intő, hogy majdnem minden hétre jut valami twitteres (bulvár) hír:

• aplusk 1,000,000 follower,
• 'hacked' email account,
• twitter üzleti terv 'szivárgás',
• totális ddos támadás,
• spam accountok lenyírása.

Egy szóval a twitter dübörög. De nem hogy tisztulna a twitter jövőképe, egyre inkább homályosabbá válik mit is akarnak kezdeni magukkal. Míg a nagy 'rivális facebook egyre nyíltabban nyomul a világuralomért, a twitter a bulvár híreken kívül nem mutat fel semmit. A fejlődés legapróbb jelét se mutatják, az elmúlt napok ddos támadásai inkább azt bizonyítják, hogy a twitter egy picit buborékos. Nem annyira, mint a dotkom bubi, de közel nem annyira stabil a háttere.

A látványosan fejlesztések nélküli állapot lehet egy nagyobb fejlesztés miatti csend, de éppenséggel lehet egy eladásra játszó csapat stratégiája is, a vevőnek gyakorlatilag szabadkeze van abban, hogy milyen irányba fejleszt. Megkapja a domaint, és az adatbázist és csinál vele amit akar.

A twitter API egy igazán jól használható API, ami egyben a twitter lehetséges bevételi forrásait is erősen meghatározza. Ugyanakkor napjainkra megszámlálhatatlan twitter API-ra épített szolgáltatás jött létre, ami egy multinacionális multi számára legalább annyira csábító lehet, mint amennyire aggályos.

Korábbi google vásárlásoknál a real-time keresési technológia is szóba került mint ok, de a napokban a google bejelentette a caffeine update-et, ami már minden bizonnyal a saját real-time megoldások előfutára is a nyilvánvaló Bing megjelenésre adott válasz mellett.

A twitter eladása már nem kérdéses. Egyre inkább az a kérdés, ki fogja megvenni.

A Facebook jó eséllyel twitter killer lesz, nem pedig felvásárló.

A google esetében nagyon nagy a csábítás, a social network gyenge lábakon áll, a google wavet nehezebb lesz bevetni a facebook és twitter ellen, a geekek mellé nehézkes lesz megnyerni az átlag usert. A twitter -többek közt- erre is eszköz lehet a google számára.

A Microsoft esetében is elfogadható eszköz lehetne a twitter, sok más terméket, szolgáltatást erősíthetne a Microsoft láttunk már példát a Bing twitter összeborulására. Ugyanakkor a twitter túlságosan is szabad platform az MS számára. Egy twitter Microsoft egyesülés még mindig nagyon rossz fogadtatásra tálalna a twitterek körében, ez egy olyan üzleti rizikó, amit az MS nem hagyhat figyelmen kívül.

Az igazi nagy, "klasszikus" kockázati tőkés befektetők számára a twitter, működő bevételi csatornák hiányában, nehezen kézzel fogható dolog, de a válság felülírhat szabályokat. A News Corp. myspaces anti-sikertörténete intőjel lehet minden dinoszaurusznak, az űrutazáshoz nem elég pénz, célszerű az ufókkal is jóban lenni.

Jóslások ideje lejárt, hamarosan megtudjuk, mit választ a twitter. Az egyre nehezebb függetlenségét még pár évig, vagy a gyors és fájdalommentes eladást egy innovációban utazó óriásnak?

Microsoft, google, facebook? Esetleg Apple Corp.?

Must read: Using the Twitter API with PHP and PEAR.

Talán még azok számára is érhetővé válhat, hogy mennyire sebezhető platform a twitter, mennyire egyszerű spamelni a twitteren, akik nem értenek a programozáshoz, ha 'kézzelfogható' lesz egy twitter spambot. Ezért oktatási és demonstrációs céllal publikálom a korábban már említett, kb. 160 soros php twitter re-tweet botot. Elméletben csak a konfig szekcióban kell az adatokat megadni és a bot máris ontja a spamet (megfelelő üzemeltetési környezet természetesen szükséges, php és cron vagy cronnak megfelelő periodikus futást lehetővé tevő alakalmazás).

Jelen pillanat a twitter spambotoknak igazából semmilyen visszafogó módszerét nem ismerem. Az ip tíltás max lassító eszköz a twitter kezében.

A twitteren, véleményem szerint, három olyan spamelési forma van, ami kifizetödő lehet:

• re-tweet
• fake re-tweet
• egymással retweetelő, beszélgető botok

A re-tweetről postolok részletesebben a későbbiekben. A fake re-tweet lehet a twitter egyik nagy bukása, biztonsági kérdése. Phsingtől kezdve bármilyen támadási módra lehetőséget ad, ha más nevében elküldött tweetnek álcázzák a tweetet, ugyanis bizalmi helyzetet alakithat ki.

Pl. RT @hh muszaj megnezned neked is http://fakeshortenmalwareurl/ #fail #webi #lol

Az egymással tweetelő botok még talán futurisztikus dolog, de a getafreelancer.com -on már fel-feltűnedeznek ilyen projectek. Itt a lényeg a zaj fenntartása anélkül, hogy a twitter bármit is tudna tenni ez ellen.

A bothoz pár megjegyzés:

• paraméterben megadott feltételek szerint keres,
• a találatokat re-tweeteli, paraméterezhető, hogy az eredeti tweet usert hozzáfűzze a tweethez -> fake tweeting, -> re-tweet spam
• a tweetben elhelyezett linkeket shorteneli bit.ly-n, ha szükséges akkor az eredeti urlt kicsomagolja (untiny.com api) -> elviekben semmi akadálya, hogy a saját maleware shorten urlt használjon az eredeti, long url ismeretében
• user és szöveg tíltható a retweetből, -> megfelelő szöveg szűréssel életszerűen twitelheti mások tweetjét és spamelni se tudja más robot (ha időben felismered, h támadják a botot),
• sql free, log fájlt használ adatbázisként -> elviekben bármelyik botnet alkalmas lehet twitter spamre.

Program készítésekor nem volt cél a szép és gyors kód, annál inkább cél volt, hogy a lehető legprimitívebb legyen, azaz a valóban bárki által elkészíthetőség bizonyítva legyen. Ennek érdekében pár dolgot módosítottam a kódban, így elképzelhető, hogy bizonyos funkciók bugosak vagy nagyon lassúak lettek (pl. string searchok regexp helyett).

Nem túlzás, de spambotot bárki képes irni magának, akár otthonról egy ubuntu alól futathat botot, aki gyűjtöget, re-tweetel, reklámoz, spamel. (Természetesen léteznek web2 oldalak, ahol x funkció megold a weboldal, de  értelmes tartalmat nem küld a user helyett).

Semmilyen felelősséget nem tudok érte vállalni és természetesen referenciaként se vállalom annyira csúf lett :)

Disclaimers

• És persze: a program kizárólag demonstrációs céllal készült, ennek megfelelően ne használd éles környezetben mert csúf dolgokat írhat a php logba és a twitter se fog szeretni.
• Robot @hashgoogle és @hashbing accountok alatt megtekinthető, még kb. egy hétig élnek (2009. aug. 1).
• A spam egy olyan általános probléma, ami nem twitter specifikus, de a twitteren egyre komolyabb problémává válik.
• oszd meg, tanulj, és adj vissza a közösségnek.

removed.  A twitter API jelentős upgraden "esett át", a robot inkompatibilissá vált.

Must read: Using the Twitter API with PHP and PEAR.

Idén először rendezték meg a Goldenblog twitter versenyt ehhez készült a netninja.hu -n egy miniapp a twitter apira építve, ami a szavazatokat számolta. Egy kicsit magamnak egy kicsit azoknak akik twitter apira akarnak épiteni, összeszedtem a sarok pontokat, felmerült problémákat.

Desc: alkalmazás, ami leszedi a #gbtv taggel ellátott tweeteket, kiszűrni a szavazatokat @goldenblog Közönségszavazás #gbtv @elsonev @masodiknev @harmadiknev, kiértékelni a szavazatot, első helyre irt nick 3 pont, második helyre irt nick 2 pont, harmadik helyre irt nick 1 pont. Feltétel volt még, hogy csak az első szavazat számít, a szavazó első tweetjének dátuma július elseje előtti legyen.

Cél: lehetőseget biztosítani arra, hogy versenyzők egyenlő feltételek mellett tudjanak mozgosítani a szavazat állásának ismeretében.

Környezet: php, postgres, twitter api, wordpress (csak megjelenítés).

A Project:  A nagybetűs project három modulból állt,

Twitter api modul: Két dologra kellett használnom a twitter apit:

Szerencsére a twitter api egyszerű mint egy bot, csak arra kell figyelni, hogy az api rate limiteket betartsuk.

twitter api search: Nagyon fontos észben tartani, hogy a twitter search pár napra visszamenőleg   keres. Ha ennél nagyobb időintervallumot akarsz használni mentened kell a találati listát. Szintén fontos, hogy a userek törölhetik a tweetjeiket (status update), nagyon könnyen előfordulhat, hogy hip-hop, eltűnik egy tweet. Kihívás lehet még, hogy a search oldalakra bontja a találati listát és egy találati oldalra maximum 100 találatot rak ki. A találati lista lapozható a page paraméterrel. Első adat építésnél érdemes végiglapozni a találati listát, hogy ne hagyjunk le egyetlen fontos tweetet se (api rate limit!). Az induló adatbázis után már használd since_id: paramétert. Ebből következik, hogy a keresést mindig egy sql queryvel kezdtem, ami megmondta, mi az utolsó lementett tweet id.

twitter api user: Nem egy rakétatudomány, de fontos észben tartani, hogy twitter alapvetően a screen namere épit sok mindent, de ezt a user megváltoztathatja, tárold a user ID-it is minden esetben és lehetőség szerint ehhez az adathoz köss minden egyéb adatot, funkciót.

És persze a user törölheti is magát, ami okozhat pár kellemes percet, ha épp "hétfőd" van.

A név változtatás elméletileg csalásra is adhat lehetőséget, de nem találkoztam ilyennel vagy nem bukott le az illető.

(Ha most arra gondolsz, hogy minden twitter api művelet eredményét tárold le lokálisan, akkor ugyanarra gondolsz, amire én jutottam a project alatt. Egy baromi nagy adatbázis, ami limitált ideig létezik. Akár fejlesztői rémálomnak is beillene, ha nem tudnánk azt, hogy figyelni kell az adatok elvesztésére.)

A twitter api 150 user adat lekérést engedélyez egy óra alatt, ezért különösen fontos, hogy ne hibázd el a lekéréseket, különben várhatod a következő óra fordulót (én úgy vettem észre, hogy ez az óraforduló xx:04 perc körül van). Az első tweet dátumának lekérésre nagyon költség igényes, legalábbis nem találtam egyszerűbb modszert, mint a user updatejeinek végiglapozását és az utolsó tweet kikeresése. Figyelembe véve, hogy pl. @hh is szavazni fog (10k+ update), itt is megmaradt a kézi vizsgálat, annyival megkönnyítve a dolgot, hogy a user regisztráció idejét figyeltem, és ha július 1 előtti volt, akkor automatikusan érvénytelenként tároltam le a szavazatot. Szintén segítségképpen megjelenítésre került az updatek száma, illetve az egy updatetel rendelkező userek szavazatai is érvénytelenek lettek automatice.

A project legnagyobb kihívása a userek által termelt typok, jófejségekből beírt adatrongálások kivédése volt. Ezekre feleslegesnek tartottam bármilyen ellenőrzést is írni, egyszeűbb volt átnézni a bejövő adatokat és kézzel korrigálni.

A szavazat számolás egy egyszerű string->array formázást követő pozíció keresés volt. Az alkalmazott adatbázis struktúrára még nem táláltak ki megfelelő jelzőt, gyors volt, de nem a legszebb, maradjunk ennyiben.

A megjelenítésnél fontos volt, hogy Wordpressben szeretném megjeleniteni az adatokat. A wordpressbe integrálni meglepően könnyű volt, ezért probléma mentes volt.

Röviden tömören twitter api rocks.