Senior Test Automation Engineer For ai Assistants - Ingénieur QA pour Assistant IA H/F Lectra
Cestas - 33 CDI- 🏠 Télétravail occasionnel
- Bac +2
- Bac +3, Bac +4
- Bac +5
- Secteur informatique • ESN
Les missions du poste
Nous sommes à la recherche de notre nouvel(le) Ingénieur(e) senior d'automatisation de tests H/F spécialisé dans la gestion de la qualité d'assistants s'appuyant sur l'Intelligence Artificielle, tels que des applications RAG (Retrieval-Augmented Generation), des chatbots basés sur des LLMs (Large Language Models), et d'autres solutions conversationnelles avancées
Nos équipes de R&D sont engagées dans la création d'assistants IA capables de traiter une variété de contenus, allant des données métiers aux documents d'entreprise pour simplifier l'utilisation de nos solutions à nos clients. Nos applications doivent évoluer avec les besoins de nos utilisateurs, ce qui nous amène à adopter une architecture flexible pour changer facilement de modèles de langage (LLM) sous-jacents. Dans cet environnement dynamique, nous valorisons l'exploration, la créativité et l'innovation.
Pour réussir dans ce poste, vous devrez faire preuve de curiosité et d'une volonté d'explorer de nouveaux outils et pratiques. Votre capacité à structurer l'analyse des résultats et à prendre des décisions sera essentielle pour mener à bien vos missions. Vous devrez également apprécier le travail collaboratif et être disposé à partager vos connaissances et à apprendre de vos collègues
Missions
- Concevoir et mettre en oeuvre des stratégies de test innovantes pour nos assistants IA, intégrant des pratiques innovantes et des outils adaptés
- Définir et appliquer des méthodes d'évaluation spécifiques aux modèles LLM : détection d'hallucinations, robustesse des prompts, évaluation de la cohérence et de la fidélité des réponses.
- Effectuer une veille technologique active pour identifier les nouveaux outils et méthodes qui pourraient optimiser nos processus
- Développer des scénarios de tests automatisés et manuels, en tenant compte des divers cas d'utilisation et des caractéristiques des utilisateurs
- Analyser les résultats des tests de manière structurée et claire, et formuler des recommandations basées sur des données probantes
- Diffuser les pratiques et connaissances
L'adresse du poste
Localisez l'entreprise et calculez votre temps de trajet en un clic !
Calculer mon temps de trajet
Le profil recherché
Description du profil :
Formation : Diplôme en informatique, en ingénierie, en science des données ou dans un domaine connexe.
Expérience : Minimum 5 ans d'expérience dans le monde du développement logiciel, dont une expérience significative dans la définition et mise en oeuvre d'une stratégie de tests sur un projet de développement faisant intervenir les technologies IA LLM, Machine Learning ou données.
Compétences techniques :
Maîtrise des langages de programmation (tels que Python, Java ou Kotlin)
Connaissance des frameworks d'IA (MLFlow, Langchain, Langgraph, TensorFlow)
Connaissance des outils d'évaluation de LLM (par exemple : TruLens, PromptLayer, DeepEval, LLM-as-a-Judge)
Expérience avec des outils d'analyse de données et de visualisation (Pandas, SQL, PowerBI)
Compétences analytiques : Capacité à analyser des ensembles de données complexes et à interpréter les résultats de manière critique.
Compétences en communication : Excellentes compétences en communication écrite et orale, avec la capacité de présenter des résultats techniques à des publics non techniques.
Sensibilité à l'éthique de l'IA : Compréhension des enjeux éthiques liés à l'IA, y compris la gestion des biais et la transparence des modèles.
Atouts :
Expérience dans la validation de modèles d'IA ou de machine learning.
Familiarité avec les indicateurs de performance (précision, rappel, fidélité) appliqués à l'IA.
Expertise dans la collecte et l'analyse de golden datasets.
Connaissance des méthodologies de test logiciel et des bonnes pratiques en matière de validation.
Nous proposons :
Ce que Lectra vous propose ?
- Rejoindre une entreprise innovante proposant des solutions et services premiums
- Travailler dans un environnement international, multiculturel (32 nationalités) et agile
- Des locaux refaits à neuf récemment sur un site boisé de 12 hectares
- Un CSE attractif proposant des subventions pour les voyages, de la location de matériel (randonnée, surf...), des activités culturelles et sportives, une médiathèque...
- La mise à disposition du complexe sportif du Bouzet à Cestas (badminton, court de tennis, piscine...)
- Un restaurant d'entreprise
- Une mutuelle d'entreprise prise en charge à 60%
- Places réservées en crèches privées pour la garde de jeunes enfants,
- Prime de cooptation
- Forfait mobilitédouce
Bienvenue chez Lectra
LECTRA SA
- Cestas - 33
- CDI
Créez une alerte
Pour être informé rapidement des nouvelles offres, merci de préciser les critères :
Finalisez votre candidature
sur le site du recruteur
Créez votre compte pour postuler
sur le site du recruteur !
sur le site du recruteur
sur le site du recruteur !
Ces offres pourraient aussi
vous intéresser
Recherches similaires
- Job Ingénieur QA
- Job Informatique
- Job Bordeaux
- Job Libourne
- Job Langon
- Job Arcachon
- Job Montagne
- Job La Teste-de-Buch
- Job Mérignac
- Job Lacanau
- Job Coutras
- Job Biganos
- Job Développeur
- Job Technicien informatique
- Job Technicien support informatique
- Job DevOps
- Job Chef de projet informatique
- Entreprises Informatique
- Entreprises Ingénieur QA
- Entreprises Cestas
- Job Senior
- Job Logiciel
- Job Charge
- Job Developper
- Job Médiathèque
- Lectra Cestas
- Lectra Ingénieur QA
{{title}}
{{message}}
{{linkLabel}}