Чтобы он пришел на работу, сел за компьютер, а у него там уже собрана вся информация по идущим в данный момент в интернете тендерам...

Google я уже посмотрел - там одна строка нарисована на форме - это просто ;)

но как собрать всю нужную информацию?

по идущем в Интернете тендерам (с)

может на 1-3 ресурсов остановимся?

(0) Покажите боссу google.gik-team.com

(0) твой босс хочет задаром работу целого аналитического отдела?

в прошлый раз отбрехался тем, что интернет платный и дорогой...
сейчас безлимит... отмазка не катит

в общем идея такая...
берем сервер...
на сервере программа... сканирует или интернет, либо выдачу яндекса, отбирает ссылки, сканирует, отбирает страницы с соотвествующими ключевыми словами... складывает в базу и выдает из базы любимому боссу...

может что-то готовое уже есть на эту тему?

(4) Думаю босс не знает, чего он хочет.

да мой босс старый еврей... и полковник в запасе

в прошлый раз отбрехался тем, что интернет платный и дорогой... (с)

вы друг друга стоите

я тоже думаю, что не знает, но как ему объяснить, что ему это не надо...

(9) ему это надо, но у него на это не хватит денег

(8) тогда 1 ГБт - 14000 RUB стоил, сканировать весь интернет - предприятие разорится, так и сказал, что не так?

(9) Так, что там максимум 2-3 постоянных ресурса, где хранится "все информация по идущим в данный момент в интернете тендерам", пусть заходит на них и смотрит, там возможно даже подписка есть.

Считаем, 3 ресурса. в 3 клика получается + бесплатно

тем более нужны же тендеры не все, скорей всего, а по определенное тематике, так что это не ВЕСЬ ИНТЕРНЕТ сканировать нужно)

(0) я конфу писал именно для сабжа....

если интересно - могу рассказать

(14) у меня не все площадки
например фабрикант - работал, а сбер - нет

(5) программа сканирует интернет
Весь?

Орг. меры предложи. Обученная тобой секретарша каждое утро выкладывает сводку.

(0) есть площадки, которые агрегируют тендеры. В яндексе находятся на раз. Заключайте договор, и будут у него на столе тендеры, в чем проблема-то?

(14) расскажи, пожалуйста!

(14) + у меня реально работало по 4м площадкам, за год база тендеров без вложений копится примерно 1 терабайт

реализовано
1. поиск оф лайн по ключевым запросам полнотекстового поиска 1с
2. работа с закрытыми площадками
3. рассылка по почте найденых тендеров

и еще много плюшек

из минусов -
1. сайты постоянно меняются и приходится постоянно  поднастраивать парсинг
2. сайты на основе активных клиентских скриптов - не работают

(20)
на чем писал?
сколько времени ушло?

(20)
и как ты парсил закрытые площадки?

(21) на 1с, ушло примерно 5 дней на базу, и 3 недели на настройки парсинга

(22) сначало авторизация, потом обычный парсинг

да полно таких сайтов аггрегаторов- покажи боссу:
synapsenet. ru
rostender. info

хм... а как авторизоваться из 1с?

(25) товарищ настоящий полковник желает свой с блэкджеком и...

(26) покури:
http://catalog.mista.ru/public/255881/

ну и как вариант найти сайт аггрегатор который уже собирает всю инфу и парсить уже его...

(29) возможности парсинга выдачи яндекса и гугла ограничены... от таких умных

накуя парсить яндекс и гугл

(30) я про парсинг сайта ТЕНДЕРНОГО аггрегатора, а не про парсинг выдачи поисковика....

авторизация точно такая же как и браузером
пост, заголовки, etc

(26) очевидно, позвонить в эти конторы и поинтересоваться, кто и как позволяет делать интеграцию с учетными системами. Скорее всего, все уже давным-давно сделано за вас. И даже обработки для 1С могут быть готовые.

(32)
а для этого, как правило, надо авторизоваться на сайте...
пошел читать http://catalog.mista.ru/public/255881/

вот например ищет:
https://synapsenet.ru/search
открой ссыль например в опере, включи в опере режим разработчика.
далее вбей в строку поиска нужный запрос и нажми на "лупу" - начни поиск.
в окне режима разработчика на закладке "Network" увидишь все параметры:
==================
Request URL:https://synapsenet.ru/search/setsearchoptions
Request Method:POST
Status Code:200 OK
Remote Address:51.255.13.24:44
==================
Form Data
query:!!!ЗдесьТексКПоиску!!!
regionsIds:
minPrice:0
maxPrice:0
skiptenders:0
take:undefined

(36) представь, что у меня 100...500 запросов на поиск по 10 площадкам, ищу каждый день...

догадайся сколько это будет стоить

(37) ну мы же не говорим счас про платный сторонний поиск через спец ПО, а про самописку автора, два варианта:

легкий чтоб полковник отстал
1) найти сайт аггрегатор на котором есть бесплатный поиск, парсить его выдачу, найденное смотреть уже на самой тендерной площадке как вариант

сложный:
2) определить список площадок, сделать себе ЭЦП, присоединиться - зарегиться ко всем площадкам, написать парсеры по всем площадкам, далее либо просто искать через 1с, либо если много регулярных запросов - то еще и копить результаты поиска нужных тендеров.

либо оформить подписку на сайт аггрегатор и не париться: ждать когда автор напишет, либо купить и юзать сразу - это уже полковнику решать :)

если у фирмы есть на это деньги...

ну и еще вариант - скооперироваться с vde69 :)

(0) Попробуй https://tenderplan.ru/ Тестовый период 14 дней, очень удобный интерфейс, но денег стоит потом. Мне понравилась больше чем http://www.komtender.ru/ и http://rostender.info/

научи босса пользоваться гуглом.

а если бесплатно, то на http://zakupki.gov.ru можно найти необходимые тендеры, там указывается также площадка на которой размещен данный тендер

(0) покажите шефу где купить и скажите цену.
$ 998,31 - цена акции гугла
689 238 589 - их количество.
перемножить сумеет наверное.

+ (42)
http://catalog.mista.ru/public/462371/
типа парсер есть - качни поковыряй

https://habrahabr.ru/post/253201/

если боссу нужен просто гугл, то можно забить строку поиска и сохранить страничку в хтмл )))

Мелко плавает полковник (возможно, левый). Сделав свой гугл, он сможет продать его руководству нефтегазовой федерации, и тендеры ему уже будут не нужны.

Дай ему книжку БГейца, business@think, пусть проникается.

(47) Гугл (и прочие яндексы с мейлами) как поисковик довольно простая штука, но очень тяжелая и дорогая по железу с админами.

Обычный парсер страничек, выявление ссылок с последующим парсингом уже их.
В процессе индексируем тексты по методу N-грамм и складываем все в большую базу.

Любой вменяемый веб программер справится (который парсер писал) но не сможет реализовать на конкурентном уровне ибо гугл уже далеко вперед убежал по разным тонким/хитрым моментам.

(46) И получить за это over9000k рублей!

1С приглашает на работу питонистов и спецов по ML. скоро все будет искаропки.

(0) https://ru.wikipedia.org/wiki/Sphinx_(поисковая_машина)

+(51) По технологии SphinxSE осуществляется поиск на популярном блоге Хабрахабр, проекте Викимапия, популярном книжном интернет-магазине Буквоед, сайте "Санкт-Петербургского Дома Книги", BitTorrent-трекере Пиратская бухта и других высоконагруженных проектах[2]. Используется в CMS 1С-Битрикс[3], HostCMS [4], CMS LiveStreet, Umi.CMS версии 2.9.6 и выше, доступен с помощью плагина для CMS Wordpress[5] и т. д.

В 2011 году была выпущена книга "Introduction to Search with Sphinx" издательства O'Reilly, написанная автором поисковика Андреем Аксёновым.

Бери, используй, он GNU

(52)
здорово!
спасибо!
родной php!

я тут сервер под проект подобрал! ;)
2 Xeona, 32Гбт RAM, 2 HDD SAS 600 Гбт 15000 оборотов.
Бойся, Google!

(8) с ними надо говорить на их языке.

(5) Бывают такие, но только по вакансиям работников http://qyzmet.kz

+(56) Там он у них все доски объявлений сканит и в одном списке выводит с указанием даты последнего сканирования вакансии. Правда, он утратившие силу вакансии не убирает сразу. На этом сайте они продолжают висеть.

в общем так...
на сервере FRee BSD или Linux,
какая-то программа php, perl, python или что-то подобное,
которая сканирует... ну например выдачу яши или гугла по определенным запросам, + указанные тендерные площадки (здесь указывается логин и пароль для авторизации), то что парсится складывается в базу (postgresql или mariadb)- URL, дата, текст
к базе должен быть веб-интерфейс и возможность отправлять информацию письмами на e-mail, например маркетингу и боссу

+ регламентные процедуры -например, убрать устаревшие данные давностью более чем за 1 месяц.

(58) ОЧЕНЬ ВАЖНО!
Должна быть возможность продавать корованы и покупать корованы.

(60) а грабить?

(0) Ввиду того, что львиная доля нужной информации не является структурированной по мудроправилам бигбоссов, всегда присутствует ручной сбор/отбор информации. И этот объем ручной работы очень и очень большой. А если добавить изменчивость хотелок бигбосов, то проще устно исполнителю получить указание и выполнить его, чем годами переписывать алгоритм какой-то проги, подстраивая ее логику под "хочу так, хочу этак".
Для некоторых боссов научные институты годами информацию собирают.
Другие организуют на деньги налогоплательщиков разные Администрации и/или нанимают заместителей, которые в свою очередь нанимают помощников.

Да, еще забыл про Росстат и про разные переписи населения которые используются для получения информации.

(61)У него же не новый шелковый путь, верблюды и товары свои.

(58) И сколько платите за такое изобретение ?

(64) нельзя в одном предложении использовать слово "корованы" без глагола "грабить"