Собиратель ссылок типа sitemap [Версия для КПК]

Показать полную графическую версию : Собиратель ссылок типа sitemap

benya

01-09-2006, 15:25

Господа, никто не знает алгоритма собирателя уникальных ссылок с сайта для создания карты сайта? Не хочется выдумывать велосипед, может кто-то делал.

Vlad Drakula

01-09-2006, 15:34

benya
все зависит от того если доступ к движку сайта или нет.

benya

01-09-2006, 17:13

Vlad Drakula,
А зачем нужен доступ? По принципу скачивания страниц целиком наверное... Зашли на страницу, собрали ссылки, выкинули дубликаты и так дальше по очереди... Но вот как...

Vlad Drakula

01-09-2006, 17:30

benya
я просто генерю ракту сайта сразу в момент генерации всего сайта это проще удобнее и быстрее.

benya

01-09-2006, 18:00

Ну я бы так тоже сделал, только вот не знаю как отгенерить все страницы...

E-mail

01-09-2006, 23:40

может кто-то делал
интересно у нас тут есть ктонибудь с рамблера, яндекса или апорта?:)

Vlad Drakulaракту сайта
это как?...
у меня при произношении этого слова странные представления в голове проявляются =)

Prisoner

02-09-2006, 10:25

benya, не знаю как на счет велосипеда, но задача в общем-то довольно простая, чтобы реализовывать ее множеством невелосипедных путей:
1) Регулярным выражением примерного вида <a.*?href=['"]?((?:(?:https?|ftp|file)://)?[-A-Z0-9+&@#/%?=~_|!:,.;]*[-A-Z0-9+&@#/%=~_|])['"]? (с i модификатором) выдираем ссылки из текста странички. Получам массив строк, являющихся значениями атрибута href всех ссылок.
2) Применяем к массиву функцию array array_unique(array) (http://ru.php.net/manual/ru/function.array-unique.php) и получаем массив с убранными повторяющимися ссылками.

По сути это все, разве что будет дополнительные моменты по разбору могущих возникнуть нюансов.

Sham

03-09-2006, 03:56

Prisoner, забыл экранировать опасные символы :).

E-mail

03-09-2006, 04:10

ага, а еще добавить протокол http:

Prisoner

03-09-2006, 16:11

Sham, E-mail, прошу прощения, ваши замечания учитываются моими "примерным" и P.S. соответственно - я не собирался давать полного ответа, это лишнее.

nec 3540A

16-09-2006, 15:46

А есть ли программа для создание "карты сайта", находящегося уже в сети?

Prisoner

16-09-2006, 16:36

А почему бы у сети и не спросить (http://www.yandex.ru/yandsearch?text=%F1%EE%E7%E4%E0%ED%E8%E5+%EA%E0%F0%F2%E0+%F1%E0%E9%F2%E0+&stype=www)?

benya

19-09-2006, 14:34

Prisoner,
А как на счет относительных ссылок типа:
page.html
/page.html
../page.html

Prisoner

19-09-2006, 15:27

В свете какого вопроса? Программы строящей карту или предложенного мной алгоритма?

benya

19-09-2006, 15:59

Prisoner,
Вообще программы строящей карту

Prisoner

19-09-2006, 19:14

Не знаю, benya, этим классом софта я не пользовался.