OT: Web scraping con HMG

[edufloriv]

Saludos amigos,

Quisiera saber si alguien tiene experiencia realizando web scraping usando HMG. Es para realizar un proceso de extracción de datos de una página de licitaciones del gobierno (.gob.pe).

Por favor contactarse conmigo para explicar de que se trata el trabajo y me puedan cotizar el costo, ya que yo no tengo experiencia en esto, sé que puedo hacerlo, pero en este momento tengo en ciernes varios proyectos pendientes y ya no dispongo de tiempo para investigar este campo. Así que me es más viable recurrir a alguien que ya tiene código escrito.

Agradeciendo su gentil atención, estaré a la espera. ( si desean pueden contactarse conmigo a eduflorivarrobagmailpuntocom ).


Cordiales saludos a todos.

[edufloriv]

Saludos,

Aquí los detalles de la necesidad del cliente:

URL :

https://prodapp2.seace.gob.pe/seacebus- ... lico.xhtml#

Paso 1: Realizar consulta con los siguientes criterios:

seace-paso-1.png (45.42 KiB) Viewed 3451 times

Paso 2: Extraer los datos devueltos (LISTA A):

seace-paso-2.png (153.3 KiB) Viewed 3451 times

Paso 3: Por cada detalle de la LISTA A hay que ejecutar la acción "Ficha de Selección":

seace-paso-3.png (31.35 KiB) Viewed 3451 times

Paso 4: El paso 3 devuelve otra página con datos similar a esta, al cliente le interesa los campos marcados en rojo, estos campos deben ser parte del excel final:

seace-paso-4.png (60.94 KiB) Viewed 3451 times

Paso 5: En algunos casos también el paso 3 devuelve dentro del resultado una LISTA DE POSTORES, estos datos también le interesan al cliente:

seace-paso-5.png (23.99 KiB) Viewed 3451 times

Paso 6: El excel resultado final debe ser igual a este:

seace-paso-6.png (148.4 KiB) Viewed 3451 times

Dentro del excel final hay datos de los POSTORES que deben ser extraidos de OTRA URL usando el número de RUC del postor:

https://apps.osce.gob.pe/perfilprov-ui/


Ese es a grandes rasgos el proyecto.


Cordiales saludos.

[apais]

Everything is scriptable from a hbWUI program except de captcha ( that's why they put it on). To avoid robots.

[edufloriv]

Hi Angel,

Thanks for your time. I guess the "tesseract" can't read that captcha either, since it's black letters on a gradient gray background. Don't you know another similar program?

Best regards.

----------------------------------------------------------------------------------------------

Hola Angel,

Gracias por tu tiempo. Supongo que tampoco el "tesseract" puede leer ese captcha, ya que es de letras negras sobre un fondo gris en gradiente. ¿ No conoces otro programa similiar ?

Cordiales saludos.

[jorge_riv]

Hola edufloriv, todo lo referente a Scraping lo hago con PHP, si queres te envio por este medio un scraping que uso en una aplicacion financiera que uso para sacar el valor del Dolar (por ejemplo), por suerte se puede scrapear bastante, pero uso PHP y aveces Javascript, si te interesa te lo paso.

[ASESORMIX]

Hola. Saludos.
Estoy interesado en el codigo php que ofreces.
Si no es mucha molestia, Por favor envíame a asesormix@gmail.com.
Te lo agradezco.

[serge_girard]

Jorge,
Please send scraping PHP sample!

Serge

[franco]

Eduardo, I am not sure if this is relevant. What I have at the start of my program I create a text file in a specific folder.
When my clients when in certain websites they can print there selections to that file, then put directly on there invoice.
I have written import files for each website they what to import from.
This may be a bit old fashioned as I do not know coding for the web but it works very well.
Franco

[franco]

Sorry,
My explanation above is not quite right. I create a printer port which is file. Clients print to that printer then in my program I import
and adjust the file to fill the fields in the specific table to lines of the file.