Modèle demande manuscrite

Pour EY, la fonction de reconnaissance de l`écriture manuscrite et l`intégration de la ROC manuscrite dans la page OCR ont débloqué leur scénario de recherche de contrat, ce qui permet d`économiser parfois des heures de temps de révision sur chaque contrat. Bien que la partie de reconnaissance des caractères de l`écriture manuscrite de la solution n`ait pas bien réussi, la solution a déjà amélioré les performances du système existant. Les outils et modèles d`écriture manuscrite alternatifs peuvent facilement être intégrés dans le pipeline s`ils sont exposés en tant qu`API. Comme nous l`avons mentionné, nous prévoyons de mettre à jour notre solution avec les capacités améliorées de cognitive services Computer Vision API OCR. Il s`agit d`un modèle de base qui donne ~ 95% de précision au niveau du caractère. Voici quelques idées que vous pouvez essayer d`améliorer ce modèle: construire le modèle d`image: nous allons construire un réseau neuronal simple en couches de milti en alternant couches denses et couches de abandon. La couche d`abandon permet de généraliser le modèle en abandissant le pourcentage spécifié de connexions entre deux couches denses. OK, commençons avec un peu d`apprentissage automatique. Je vais brièvement parler du processus de modélisation et vous pointez sur le référentiel GitHub qui héberge tous les fichiers et les codes pour la mise en œuvre de la même. Cette fonction convertit d`abord les images en entrée sous forme de matrice requise avec la forme (NXL, 28×28).

Il utilise ensuite le modèle d`image pour obtenir la probabilité de chaque caractère. Obtient la probabilité de caractère suivant à l`aide du modèle de texte (à l`exception du premier caractère). Combine les probabilités de ces deux pour faire la prédiction finale. Ces dernières années, les modèles de détection d`objets de vision par ordinateur utilisant des réseaux neuronaux profonds se sont avérés efficaces à une grande variété de tâches de reconnaissance d`objets, mais exigent une grande quantité de données de formation expertement étiquetées. Heureusement, les modèles pré-formés sur des jeux de données standard tels que COCO, contenant des millions d`images étiquetées, peuvent être utilisés pour créer des détecteurs personnalisés puissants avec des données limitées via l`apprentissage de transfert-une méthode de réglage fin d`un modèle existant pour accomplir un autre mais la tâche connexe. L`apprentissage par transfert a été démontré pour réduire considérablement la quantité de données de formation requises pour obtenir une précision de pointe pour un large éventail d`applications. L`un des principaux TimeSavers fournis par les utilitaires AML-PCV est les utilitaires pour reconnaître, formater et pré-traiter nos données de formation et de test étiquetées. Le code ci-dessous va importer le jeu de données étiqueté VOTT et les images pré-traiter pour créer un ensemble de formation approprié pour le modèle Faster-RCNN: il est difficile d`obtenir une précision d`extraction acceptable lors de l`application de méthodes de recherche et d`extraction de connaissances traditionnelles à ces documents. Le chef parmi ces défis sont la qualité d`image de document médiocre et les annotations manuscrites.

La mauvaise qualité d`image découle du fait que ces documents sont fréquemment scannés des copies des accords signés, stockés en tant que fichiers PDF, souvent une ou deux générations retirées de l`original. Cela provoque de nombreuses erreurs de reconnaissance optique de caractères (OCR) qui introduisent des mots absurdes. En outre, la plupart de ces contrats comprennent des annotations manuscrites qui modifient ou définissent des termes critiques de l`accord. La lisibilité, le style et l`orientation de l`écriture varient grandement; et l`écriture manuscrite peut apparaître dans n`importe quel emplacement sur la page de contrat imprimée par machine. Les pointeurs manuscrits et les points de soulignement notent souvent où l`écriture manuscrite doit être incorporée dans le reste du texte imprimé de l`accord. Remarque: vous pouvez utiliser n`importe quel corpus de texte pour créer ce modèle. Comme d`habitude, la performance du modèle dépend de la qualité et de la quantité des données de formation fournies. Sur le référentiel GitHub, j`ai mis un corpus d`exemple (War_and_Peace. txt) pour votre référence/utilisation.