Yazılım Üret

Web Url Scraping, (URL link Toplayıcı)

Merhaba, Proje basit googlebot benzeri domain adı yazdıktan sonra giriş sayfasına giderek (default page) linkleri toplayıp, sitenin tüm linklerini (sitemap) çıkarıp. Mysql veri tabanına yazacak.

Kodlar opensource php ve mysql ile kodlanacak. 50000 link maximimum toplayabilecek.

samle script: https://github.com/morshedalam/url-scraper-php
Yukarıdaki yazılım sadece ana sayfayı alıyor (yanlış). Bulunan domaine ait ana sayfa linklerinden dallanarak tekrar bulunan linkleri tarayarak, tekrarlanan linkleri süzerek mysql e atacak. kısacası googlebots benzeri siteyi gezerek linklşeri toplayıp link haritası çıkartacak.

-domain link scrape
--sub link scrape
---sub sub link scrape
.
.
.
.

ful domain link tablosu

MySQL PHP Yazılım Mimarisi Web Scraping

Proje NO: #9255126

Proje hakkında