sensitive-blue•2y ago
bug in chunk text format
i am using the api call to retrieve 3 chunks that i save in variables and then add to AI model. when i check the content of the chunks, here is what i have "b"Charges d\xc3\xa9ductibles : quelles sont les conditions de d\xc3\xa9duction ?\nLes d\xc3\xa9penses sont d\xc3\xa9duites sur la base de leur montant r\xc3\xa9el" ...it seems that all accents or apostrophe have created a problem.
its the same in all the text that i have uploaded as a text fie and then as plain text...same result.
here is an example of plain text with this issue : "Charges déductibles : quelles sont les conditions de déduction ?
Les dépenses sont déduites sur la base de leur montant réel.
Cependant, par exception, certains frais peuvent être évalués forfaitairement. C’est le cas par exemple des frais correspondant aux dépenses de véhicules. Certaines professions bénéficient également de régimes spécifiques leur permettant d'évaluer forfaitairement certains frais.
Concernant les amortissements, ils sont calculés selon les règles applicables aux BIC et doivent être mentionnés sur le registre des immobilisations et des amortissements que les exploitants soumis au régime de la déclaration contrôlée doivent tenir à jour.
Les frais liés à l’utilisation de vos locaux professionnels"
2 Replies
This is what I got when adding the text you've shared into the KB:
Maybe an encoding issue with the original doc you're trying to upload to the KB?