Panelen



Forumnavigering
Senast inloggade
RSS
Sponsorer

Forum > Klientspråk > Generella frågor

Göra en Mashup - Samla in data?

Hej! Är någon bekant med sk "mashups"? Dvs att man samlar in data från olika källor och sammanställer dessa i ny form?

Skulle gärna vilja ha lite tips på vart jag ska börja?

En sajt listar information med formatering:


<b>M&aring;ndag</b><br>
Text-text-text..<br>
Text-text-text..<br>
<br>

<b>Tisdag</b><br>

Text-text-text..<br>
Text-text-text..<br>
<br>

<b>Onsdag</b><br>

Text-text-text..<br>
Text-text-text..<br>
<br>



Finns det något enkelt script, eller någon som har en idé på hur det skulle kunna utformas (vill inte ha något kodat åt mig, vill lära mig) som skulle kunna läsa och hämta ut denna information från http://exempel.se/frame.html ?

Visst man skulle ju kanske kunna länka i en iframe, men det är inte så jag vill göra. Jag vill typ kopiera källkoden, filtrera ut det jag söker efter och ev formattera om det för att publicera på min egen sajt.

Har fått ett tips om att kolla på Regular Expressions i ASP, kan det vara något?



Redigerad av trollemother
Anledning: La till lite

ID: #17764 | Skapades: 2009-08-28 14:25:00 | Tråden har 10 svar och har lästs 362 gånger.

Kimpo
Kimpo

Gradering

#17765

Det du talar om är scraping eller att indexera andras sidor (lite som sökmotorerna gör). Alla Siteägare blir inte alltid så nöjda om du "snor" information från deras sidor och visar den på din sida som om den vore din. 

Mashups är snarare ett sätt att koppla ihop olika tjänster på nätet och skapa nya genom att kombinera tjänsterna. 

här har du en bra övning .  Skapa en vädersite :

Masha ihop google maps med ett väder-API .  Hitta på lite olika saker   weather.com har ett tror jag. Gör kartan klickbar för olika länder tex och koppla ihop detta med ett valuta-API så kan man få aktuella kurser för landet du klickat på.  Sen är det bara att bygga på det med andra tjänster. googla på SOAP API:er. finns tusentals på nätet som man får använda.

www.restaurangbloggen.se , www.kihi.se
ID: #17765 | Skapades: 2009-08-28 14:48:43

LP_MAXI
LP_MAXI

Gradering

#17766

http://www.blirdetsol.se/ är en riktigt häftig sida enligt mig som uttnytjar olika slags API:er för att presentera väder. Tänkte bara tipsa om det Kimpo skriver om att det går att göra fräcka saker med hjälp av API:er som finns på nätet.

Men det är kanske inte sånt här du är ute efter?



http://www.lpmaxi.se/
ID: #17766 | Skapades: 2009-08-28 14:52:25

Kan säga direkt att ingen kommer ha några invändningar över informationen jag vill hämta.
Det är ungefär det där jag är ute efter, är dock inte alls insatt i varken API eller SOAP, men jag gav det en snabb googling och det såg intressant ut, ska läsa vidare när jag kommer hem i eftermiddag.

Min tanke är dock att det borde gå att göra en kod, som rippar källkoden från en sida och sedan filtrerar ut det jag vill ha till exempel att den hämtar informationen som finns mellan

<b>M&aring;ndag</b>[...]<b>Tisdag</b>


Borde inte det finnas en enklare lösning på det?


ID: #17767 | Skapades: 2009-08-28 15:30:45

voigtan
voigtan

Gradering

#17768

Citerar trollemother:
Min tanke är dock att det borde gå att göra en kod, som rippar källkoden från en sida och sedan filtrerar ut det jag vill ha till exempel att den hämtar informationen som finns mellan
Dvs ScreenScraping, om inte de sidor du skall hämta informationen ifrån har något API eller Mashup skript så är detta det ända sätt du kan göra det på, speciellt med klassisk ASP

Citerar trollemother:
Har fått ett tips om att kolla på Regular Expressions i ASP, kan det vara något?
Eftersom RegExp är att hitta uttryck så är det en strålande idé att kolla upp RegEx, är fruktansvärt kul att arbeta med.
Citat:
Kan säga direkt att ingen kommer ha några invändningar över informationen jag vill hämta.
Hur vet du detta? Det finns så många personer som har frågat om detta (du kan söka här på screenscraping så kommer du se samma varningar om och om igen). Tror även jag har gjort ett par exemplen på ScreenScraping på aspkoll när medlemmar har frågat.

 

ScreenScraping känner du igen med AJAX också, använder i princip samma metoder att köra anrop och liknande metoder ( XMLHTTP)

responseText som du får med ditt objekt kör du bara regEx för att filtrera ut det du vill hämta.

Hur man ställer en fråga: http://support.microsoft.com/kb/q555375
Redigerades av voigtan den 28 augusti 2009. Läs tidigare inlägg.
Redigerades av voigtan den 28 augusti 2009. Läs tidigare inlägg.
ID: #17768 | Skapades: 2009-08-28 15:56:55

Citerar voigtan:
Hur vet du detta? Det finns så många personer som har frågat om detta (du kan söka här på screenscraping så kommer du se samma varningar om och om igen)

Tanken är att göra något som liknar iGoogle fast där jag anpassar innehållet helt själv riktat mot mig själv (en personlig startsida, till att börja med). Har ingen plan på att utveckla någon kommersiell tjänst utan bara lära mig.

Citerar voigtan:
Tror även jag har gjort ett par exemplen på ScreenScraping på aspkoll när medlemmar har frågat.

ScreenScraping känner du igen med AJAX också, använder i princip samma metoder att köra anrop och liknande metoder ( XMLHTTP)

responseText som du får med ditt objekt kör du bara regEx för att filtrera ut det du vill hämta.


Tack för det svaret, ska verkligen kolla närmare på screenscraping då det verkar vara likt det jag söker!

ID: #17769 | Skapades: 2009-08-28 17:40:46

Kimpo
Kimpo

Gradering

#17771

Ok men fattar inte riktigt varför vill du scrapa nånting för en personlig startsida. tv-tablåer ? finns api:er .Hämta senaste nyheterna från RSS-flöden från olika nyhetsssiter? behövs ingen scraping för detta.  alla stora sökmotorerna har widgets man kan koppla in.

Det jobbiga med scraping grejen är att om sitens struktur ändras måste du även börja anpassa om ditt regex. OCh jag kan tyvärr inte hålla med Voigtan angående att det är kul att jobba med regex hehe ;)  men smaken är som baken :P

 Det här är enligt mig en av de bästa startsidorna på nätet, använder den själv som startsida, du kan anpassa i princip allt på den http://www.superstart.se , Den i är princip helt uppbyggd med web services, widgets och rss-flöden.

www.restaurangbloggen.se , www.kihi.se
ID: #17771 | Skapades: 2009-08-29 01:07:52

Citerar Kimpo:

Ok men fattar inte riktigt varför vill du scrapa nånting för en personlig startsida. tv-tablåer ? finns api:er .Hämta senaste nyheterna från RSS-flöden från olika nyhetsssiter? behövs ingen scraping för detta.  alla stora sökmotorerna har widgets man kan koppla in.

Det jobbiga med scraping grejen är att om sitens struktur ändras måste du även börja anpassa om ditt regex. OCh jag kan tyvärr inte hålla med Voigtan angående att det är kul att jobba med regex hehe ;)  men smaken är som baken :P

 Det här är enligt mig en av de bästa startsidorna på nätet, använder den själv som startsida, du kan anpassa i princip allt på den http://www.superstart.se , Den i är princip helt uppbyggd med web services, widgets och rss-flöden.

Men det var scraping jag letade efter, eftersom det passade min beskrivning ganska precis.

Sen är som sagt inte huvudsyftet med detta att få ut särskillt mycket mer än kunskap :)

ID: #17776 | Skapades: 2009-08-29 15:38:13

voigtan
voigtan

Gradering

#17777

RSS är ett smidigt sätt att arbeta med data som är till för att dela, så det skall du inte ignorera

SOAP och klassisk ASP går, men det är ett rent helvete att jobba med, klassisk ASP var inte byggd för det.

Citat:
OCh jag kan tyvärr inte hålla med Voigtan angående att det är kul att jobba med regex hehe ;)  men smaken är som baken :P

RegEx, är fruktansvärt roligt, om man kan det och vet hur man arbeta med det. Och varför skulle det inte vara roligt, det är enkelt och unversellt sätt att arbeta för att hitta mönster.

Hur man ställer en fråga: http://support.microsoft.com/kb/q555375
ID: #17777 | Skapades: 2009-08-29 15:50:09

Roosweb
Roosweb

Gradering

#17782

Citerar voigtan:

RSS är ett smidigt sätt att arbeta med data som är till för att dela, så det skall du inte ignorera

SOAP och klassisk ASP går, men det är ett rent helvete att jobba med, klassisk ASP var inte byggd för det.

[

En liten subfråga till det - med PHP då?

Med Vänliga Hälsningar - Robert Roos - Roosweb.se
ID: #17782 | Skapades: 2009-08-29 20:47:36

voigtan
voigtan

Gradering

#17784

Citerar Roosweb:
En liten subfråga till det - med PHP då?
Vaddå med PHP? Jag gissar på att din fråga gäller med SOAP och inte RSS.

Jag har aldrig jobbat med PHP så jag vet inte, jag har byggt ASP applikationer som kör mot SOAP anrop och det är något jag vill undvika för allt som är heligt.

Om PHP har det, förmodligen har dom det och om dom inte har det så finns det säkert ett ramverk som gör det betydligt enklare än vad det är med ASP.

Redigerad: Finns tydligen: http://se2.php.net/soap

Hur man ställer en fråga: http://support.microsoft.com/kb/q555375
Redigerades av voigtan den 31 augusti 2009. Läs tidigare inlägg.
ID: #17784 | Skapades: 2009-08-29 20:51:58
© Copyright 2007-2009 Shadi Domat | Version 3.0 | Sidkarta | Policy