3ENGINE

Programación y otros cachivaches

Etiqueta: Python

Página 5/6

Tecnologia

Como descargar videos de Youtube (y otros proveedores) con Youtube-dl


Existen varias aplicaciones que permiten descargar videos de youtube. (youtube-dl, cclive, clive, rtmpdump, get_flash_videos,…) Pero una de las aplicaciones mas sencillas es youtube-dl, disponible para Linux, Windows y Mac OS X. Necesitarás Python para que funcione.

descargar videos de Youtube

Para instalar youtube-dl en Ubuntu

1. Examinar https://yt-dl.org/downloads/ y localizar la carpeta mas actual. A fecha de hoy la carpeta mas actual es 2014.04.21.6:

2. Descargar la última versión de youtube-dl y dar permisos de ejecución:

$ sudo wget http://yt-dl.org/downloads/2014.04.21.6/youtube-dl -O /usr/local/bin/youtube-dl
$ sudo chmod a+x /usr/local/bin/youtube-dl

Para instalar youtube-dl en Windows

1. Muy sencillo. Ir a la página de descarga y bajar la última versión de la aplicación. La aplicación es un simple .exe

Algunos comandos útiles

1. Actualizar a la última versión (hazlo si tienes problemas para descargar) :

$ sudo youtube-dl -U

2. Averiguar que proveedores soporta youtube-dl:

$ youtube-dl --list-extractors

3. Descargar vídeos por palabra clave de youtube utiliza ytsearch. Por defecto descargará la primera coincidencia. Otra variante es ytsearchN donde N es el número de vídeos a descargar. Para descargar todos los vídeos que coincidan utilizar ytsearchall. Para buscar en google (www.google.es/videohp‎) utilizar gvsearch. Para buscar en Yahoo (http://es.video.search.yahoo.com) utilizar yvsearch :

Descargar la primera coincidencia

$ youtube-dl "ytsearch:hola soy german"

Descargar las tres primeras coincidencias:

$ youtube-dl "ytsearch3:hola soy german"

Para listar las tres primeras coincidencias sin descargar los videos añadir -s:

$ youtube-dl -s "ytsearch3:hola soy german"

4. Para descargar un vídeo en concreto (el de mas alta calidad) pasar la URL del vídeo:

$ youtube-dl https://www.youtube.com/watch?v=My2FRPA3Gf8

5. Para ver resoluciones y formatos soportados de un vídeo en concreto:

$ youtube-dl --list-formats https://www.youtube.com/watch?v=My2FRPA3Gf8

Si por ejemplo el resultado es el siguiente:

[info] Available formats for My2FRPA3Gf8:
format code extension resolution  note 
171         webm      audio only  DASH webm audio , audio@ 48k (worst)
140         m4a       audio only  DASH audio , audio@128k
160         mp4       144p        DASH video , video only
242         webm      240p        DASH webm 
133         mp4       240p        DASH video , video only
243         webm      360p        DASH webm 
134         mp4       360p        DASH video , video only
244         webm      480p        DASH webm 
135         mp4       480p        DASH video , video only
247         webm      720p        DASH webm 
136         mp4       720p        DASH video , video only
248         webm      1080p       DASH webm 
137         mp4       1080p       DASH video , video only
17          3gp       176x144     
36          3gp       320x240     
5           flv       400x240     
43          webm      640x360     
18          mp4       640x360     
22          mp4       1280x720    (best)

Para descargar el formato identificado por el 18 (mp4 640×360):

$ youtube-dl -f 18 https://www.youtube.com/watch?v=My2FRPA3Gf8

7. Para mostrar la ayuda en linea:

$ youtube-dl --help



Tecnologia

Cómo traducir textos con python y Google Translate


Si necesitas traducir textos a otros idiomas de manera totalmente automática, Google ofrece la API de su producto Google Translate. Pero tienes que saber que necesitas una API Key de Google y que es de pago.

Una alternativa gratuita es hacer uso de técnicas de Web Scraping para simular que nuestra aplicación es un humano navegando por la Web y recopilar información de forma automática.

 traducir textos con python y Google Translate

Es posible traducir textos con python y Google Translate. Se trata de simular los siguientes pasos:

  1. Entrar en la página del traductor Google Translate.
  2. Introducir el texto original que queremos traducir.
  3. Indicar el idioma de origen o decirle que detecte el idioma en el que está escrito.
  4. Indicar el idioma destino.
  5. Traducir.
  6. Recoger el texto traducido.
  7. Recoger el idioma de origen si le dijimos a Google Translate que detectara el idioma.

Para implementar todos los pasos necesitamos estas librerías de Python:

  • urllib para codificar los parámetros GET.
  • urllib2 para modificar la cabecera HTTP y enviar la petición GET (Request).
  • re para adaptar la respuesta (Response) mediante el uso de expresiones regulares.
  • json para deserializar la respuesta a un objeto Python.

Si te falta alguna de estas librerías utiliza pip como gestor de paquetes e instalalas.  Este enlace te explica cómo instalar pip.

El código, mas abajo comento cómo funciona:

from urllib import urlencode
from urllib2 import urlopen, Request
import re
import json
def get_google_translate(text, translate_lang, source_lang=None):
    if source_lang == None:
        source_lang= 'auto'
    params = urlencode({'client':'t', 'tl':translate_lang, 'q':text.encode('utf-8'),
                       'sl':source_lang})
    http_headers = {"User-Agent":"Mozilla/4.0 (compatible; MSIE 5.5;Windows NT)"}
    request_object = Request('http://translate.google.com/translate_a/t?'+params, 
                     None, http_headers)
    try:
        response = urlopen(request_object)
        string = re.sub(',,,|,,',',"0",', response.read())
        n = json.loads(string)
        translate_text = n[0][0][0]
        res_source_lang = n[2]
        return True, res_source_lang, translate_text
    except Exception, e:
        return False, '', e

En la línea 14 se hace la petición GET donde se le pasa la cabecera modificada para simular que nuestra rutina es un navegador Web. Como parámetros GET se le pasa el texto a traducir así como el idioma de destino y el idioma de origen o ‘auto’ para que detecte el idioma.

La respuesta es un array en el formato javascript:

[[[«Happy Birthday!»,»С днём рождения!»,»»,»S dnom rozhdeniya!»]],,«ru»,,[[«Happy Birthday!»,[4],True,False,627,0,3,0]],[[«С днем рождения !»,4,[[«Happy Birthday!»,627,True,False],[«Happy birthday»,0,True,False]],[[0,16]],»С днём рождения!»]],,,[],1]

Necesita de una pequeña adaptación para ser un JSON compatible y de esto se encarga la línea 15 de código mediante una expresión regular que añade un cero a cualquier aparición de item vacío. La línea 16 deserializa el JSON para después leer el texto traducido y el idioma de origen.

Test:

result, code, text = get_google_translate(u'Hola Mundo!', 'en')
print result, code, text
result, code, text = get_google_translate(u'Hello World!', 'es')
print result, code, text
result, code, text = get_google_translate(u'привет мир', 'en')  
print result, code, text
result, code, text = get_google_translate(u'مرحبا العالم', 'en') 
print result, code, text
result, code, text = get_google_translate(u'Ciao Mondo', 'pt', 'it') 
print result, code, text

En todas las traducciones, excepto en la última, indicamos que detecte automáticamente el idioma del texto a traducir.

Resultado:

True es Hello World!
True en ¡Hola Mundo!
True ru hello world
True ar Hello world
True it Olá Mundo

Comprobamos que detecta que el idioma de origen es el español (es), inglés (en), ruso (ru) y árabe (ar) respectivamente. Por último indica que el idioma es el italiano (it) que es el indicado. Ahora podemos traducir textos con python y Google Translate fácilmente.




Tecnologia

Syntaxerror non-ascii character Python


Si al ejecutar un script Python se produce un Syntaxerror non-ascii character Python, significa que contiene caracteres NO ASCII.

Para solucionar este problema:

1. Debes convertir el fichero a codificación utf-8, normalmente el editor de texto permite esto.

2. Y añadir en la cabecera del fichero:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

Ejemplo:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

lang_codes = {
    u'el': (u'Greek', u'Ελληνικά', u'Greece', u'Grèce', u'Ellas', u'Ellada'),
    u'en': (u'English', u'English'),
    u'eo': (u'Esperanto', u'Esperanto'),
    u'es': (u'Spanish', u' Castilian', u'español', u'castellano', u'Spain', u'España')
}

Referencias:
Compile Syntax Error: non ASCII letters in a string




Tecnologia

Python: Cómo instalar pyquery y probarlo


pyquery permite realizar consultas de manera similar a como lo hace jQuery en documentos XML y HTML. Como requisito previo, es necesario tener instalado pip. Ver Python: cómo instalar pip

instalar pyquery

Pasos para instalar pyquery:

1. Sino quieres complicarte la vida y tu versión de Ubuntu lo permite, prueba con esto:

$ sudo aptitude install python-pyquery

2. Sino es así, para instalar pyquery compilando, primero tendrás que instalar python-dev headers y luego pyqyery:

$ sudo aptitude install python-dev libxml2 libxml2-dev libxslt-dev
$ sudo STATIC_DEPS=true pip install pyquery

(posteriormente eliminar la carpeta build)

3. Si falla la instalación con la segunda opción recuerda desinstalar los paquetes antes de probar suerte con otro sistema:

$ sudo pip uninstall pyquery
$ sudo pip uninstall lxml
$ sudo pip uninstall cssselect

Ejemplo:

Ahora un pequeño ejemplo con pyquery para obtener el cambio euro-dolar de una página Web:

from pyquery import PyQuery as pq

jquery = pq(url="http://www.cambio-euro.es/")
print jquery("div[id='valor']").text()

Y un posible resultado:

1 Euro =  1,37 Dolares

Update 25/11/2014 : Si te da algun problemilla, por ejemplo un error del tipo «AttributeError: ‘XPathExpr’ object has no attribute ‘add_post_condition'» prueba a ejecutar esto:

pip install --user git+git://github.com/gawel/pyquery.git

Referencias:
pyquery: a jquery-like library for python
pyquery: a jquery-like library for python
Installing lxml module in python