- Détails
- Clics : 2461
Récemment j'ai voulu ré-utilisé l'API Wikipedia avec Python. Mais celle-ci avait tellement évoluée, que ce soit l'API ou l'organisation de la BDD Wikipedia, que mon projet était envahi d'erreurs, que ce soit sur la pertinence des résultats, du fait de DisambiguationError ou d'autres exceptions.PageError...
J'ai donc décidé de revoir complètement ma façon d'utiliser l'API Wikipedia, ci-dessous un petit retour d'expérience.
Ce n'est pas parfait, mais ça permet de maximiser le retour de résultats, de vérifier leur pertinence, de les mettre en forme et d'éviter un certain nombre de messages d'erreur. Et surtout, ça donne une base solide sur laquelle améliorer encore sa façon d'utiliser l'API.
Les versions utilisées sont Python 3.9 et Wikipedia 1.4.
Et pour les plus pressés, le code est là : https://github.com/georgie123/VariousPythonCodes/blob/master/ApiWikipedia.py
- Détails
- Clics : 63609
Retour d'expérience sur la création d'un gentil petit robot récupérateur de données.
Bien entendu il n'y a pas de mauvaises intentions de notre part, nous ne récupérerons que des données publiques, disponibles librement sur des sites internet divers. Il ne s'agit pas de piratage ni d'aucune forme d'intrusion. Soit une forme de web scraping. La récupération automatique de données peut d'ailleurs être utile pour de nombreuses tâches très honorables (statistiques, santé, social...) ou marketing.
Nous travaillerons, dans cet exemple simple, sur un site contenant des données de contacts (email, téléphone, métier...). Certains sites considèrent ce type d'annuaire comme vendeur et mettent en avant la disponibilité de données de contact.
Nous tairons son nom de domaine, mais prenons l'exemple d'une fiche de contact à l'URL bien lisible :
http://site-indiscret.com/contacts/45988
La forme de l'URL est très standard et se termine par une chaîne numérique. Sans doute un identifiant unique ! C'est le terrain d'action idéal pour un jeune robot récupérateur de données.
Ce site au webmaster un peu pressé sera donc un bon cobaye pour notre 1er bot. Et en modifiant le script final, vous pourrez sans doute l'adapter à vos propres besoins.
Les grandes étapes d'enfantement seront les suivantes :
- Détails
- Clics : 3053
Recently I wanted to add a dynamic thesaurus in a medical videos information system. Videos are hosted at Vimeo, sometimes with access rights. End user must go through the system to view all the videos.
We would that end users to be able to navigate from one video to another according to suggestions from common keywords, visibles or not. In order to increase the average session duration on the website.
Administrators are medical professionals, they add scientific content with references potentially very detailed, and impossible to guess exhaustively.
So to organize the videos it was necessary to allow administrators to enter free keywords, like tags, in a simple text field. Nothing incredible so far example:
This is already enough to enrich user searches. But how to link the videos between them? Gracefully if possible.
Keywords should feed a formatted thesaurus, which can be used with SQL. Otherwise you will face to limitations of using, or need to multiply queries just to display few links.
- Détails
- Clics : 2303
Over time your database may increase, and some particularly heavy mailings (with a large number of emails) may see the stats drop.
Sometimes it is your activity that triggers blacklistings directly in some email clients (Gmail, Microsoft...).
When all your settings are set and you already fine-tune your shipments, a method can effectively and durably improve your deliverability: remove the least qualified contacts from your normal mailings (high-speed) and email them afterwards at low speed.
By sending to your optins contacts, you benefit from open rates and high clicks - which improves your reputation with servers - before sending to your other contacts. Gradually when these contacts open an email, click or subscribe, they will pass in the fast sendings.
Lire la suite : Increase your stats and your reputation by segmenting your mailings
- Détails
- Clics : 14701
De nombreux utilisateurs de bases de données (BDD) ont parfois besoin de mettre à disposition d'autres utilisateurs des applications BDD, pour la saisie ou la consultation, avec des problématiques de délais, de coûts ou de transmission. Le composant Fabrik, sous le CMS Joomla, permet un usage fin des bases de données, avec une efficacité de déploiement et une grande ergonomie pour les utilisateurs.
Fabrik est un CCK (Construct Content Kit, ou quelque chose comme ça...). Joomla dispose de plusieurs CCK, chacun ayant ses qualités et ses défauts. Certains disent que Fabrik n'est pas celui bénéficiant de la meilleur intégration sur Joomla, lui préférant Seblod par exemple (hum... à discuter). Mais c'est peut-être le plus orienté base de données relationnelles, si vous souhaitez mettre en place un système BDD tel que vous l'avez imaginé, et non pas tel que l'outil l'exige.
Cette souplesse permet d'y voir clair dans votre système, et de concevoir rapidement des outils extensibles, déportables et industrialisables.
Un article plus détaillé est disponible sur ce site.
Lire la suite : Une solution pour créer des applications de bases de données: Fabrik