Lire des fichiers CSV en Python

Dans ce tutoriel, nous allons apprendre à lire des fichiers CSV avec différents formats en Python à l'aide d'exemples.

Nous allons utiliser exclusivement le csvmodule intégré à Python pour cette tâche. Mais d'abord, nous devrons importer le module comme:

 import csv 

Nous avons déjà couvert les bases de l'utilisation du csvmodule pour lire et écrire dans des fichiers CSV. Si vous n'avez aucune idée de l'utilisation du csvmodule, consultez notre tutoriel sur Python CSV: Lire et écrire des fichiers CSV

Utilisation basique de csv.reader ()

Examinons un exemple de base d'utilisation csv.reader()pour actualiser vos connaissances existantes.

Exemple 1: lire des fichiers CSV avec csv.reader ()

Supposons que nous ayons un fichier CSV avec les entrées suivantes:

 SN, Nom, Contribution 1, Linus Torvalds, Linux Kernel 2, Tim Berners-Lee, World Wide Web 3, Guido van Rossum, Programmation Python 

Nous pouvons lire le contenu du fichier avec le programme suivant:

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file) for row in reader: print(row) 

Production

 ('SN', 'Nom', 'Contribution') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , 'Guido van Rossum', 'Programmation Python') 

Ici, nous avons ouvert le fichier innovators.csv en mode lecture à l'aide de open()function.

Pour en savoir plus sur l'ouverture de fichiers en Python, visitez: Entrée / sortie de fichier Python

Ensuite, le csv.reader()est utilisé pour lire le fichier, ce qui retourne un readerobjet itérable .

L' readerobjet est ensuite itéré à l'aide d'une forboucle pour imprimer le contenu de chaque ligne.

Maintenant, nous allons examiner les fichiers CSV avec différents formats. Nous apprendrons ensuite à personnaliser la csv.reader()fonction pour les lire.

Fichiers CSV avec des délimiteurs personnalisés

Par défaut, une virgule est utilisée comme délimiteur dans un fichier CSV. Cependant, certains fichiers CSV peuvent utiliser des délimiteurs autres qu'une virgule. Rares sont ceux qui sont populaires |et .

Supposons que le fichier innovators.csv de l' exemple 1 utilise tab comme délimiteur. Pour lire le fichier, nous pouvons passer un delimiterparamètre supplémentaire à la csv.reader()fonction.

Prenons un exemple.

Exemple 2: Lire un fichier CSV avec un délimiteur de tabulation

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file, delimiter = ' ') for row in reader: print(row) 

Production

 ('SN', 'Nom', 'Contribution') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , 'Guido van Rossum', 'Programmation Python') 

Comme nous pouvons le voir, le paramètre facultatif delimiter = ' 'permet de spécifier l' readerobjet à partir duquel le fichier CSV que nous lisons a des onglets comme délimiteur.

Fichiers CSV avec espaces initiaux

Certains fichiers CSV peuvent avoir un caractère espace après un délimiteur. Lorsque nous utilisons la csv.reader()fonction par défaut pour lire ces fichiers CSV, nous obtenons également des espaces dans la sortie.

Pour supprimer ces espaces initiaux, nous devons passer un paramètre supplémentaire appelé skipinitialspace. Prenons un exemple:

Exemple 3: lire des fichiers CSV avec des espaces initiaux

Supposons que nous ayons un fichier CSV appelé people.csv avec le contenu suivant:

 SN, nom, ville 1, John, Washington 2, Eric, Los Angeles 3, Brad, Texas 

Nous pouvons lire le fichier CSV comme suit:

 import csv with open('people.csv', 'r') as csvfile: reader = csv.reader(csvfile, skipinitialspace=True) for row in reader: print(row) 

Production

 ('SN', 'Nom', 'Ville') ('1', 'John', 'Washington') ('2', 'Eric', 'Los Angeles') ('3', 'Brad', ' Texas') 

Le programme est similaire à d'autres exemples mais a un skipinitialspaceparamètre supplémentaire qui est défini sur True.

Cela permet à l' readerobjet de savoir que les entrées ont un espace blanc initial. Par conséquent, les espaces initiaux qui étaient présents après un délimiteur sont supprimés.

Fichiers CSV avec guillemets

Certains fichiers CSV peuvent avoir des guillemets autour de chacune ou de certaines des entrées.

Prenons quotes.csv comme exemple, avec les entrées suivantes:

 "SN", "Nom", "Citations" 1, Bouddha, "Ce que nous pensons devenir" 2, Mark Twain, "Ne regrettez jamais rien qui vous a fait sourire" 3, Oscar Wilde, "Soyez vous-même, tout le monde est déjà pris" 

L'utilisation csv.reader()en mode minimal entraînera une sortie avec les guillemets.

Afin de les supprimer, nous devrons utiliser un autre paramètre facultatif appelé quoting.

Regardons un exemple de lecture du programme ci-dessus.

Exemple 4: lire des fichiers CSV avec des guillemets

 import csv with open('person1.csv', 'r') as file: reader = csv.reader(file, quoting=csv.QUOTE_ALL, skipinitialspace=True) for row in reader: print(row) 

Production

 ('SN', 'Name', 'Quotes') ('1', 'Buddha', 'What we think we become') ('2', 'Mark Twain', 'Never regret anything that made you smile') ('3', 'Oscar Wilde', 'Be yourself everyone else is already taken') 

As you can see, we have passed csv.QUOTE_ALL to the quoting parameter. It is a constant defined by the csv module.

csv.QUOTE_ALL specifies the reader object that all the values in the CSV file are present inside quotation marks.

There are 3 other predefined constants you can pass to the quoting parameter:

• csv.QUOTE_MINIMAL - Specifies reader object that CSV file has quotes around those entries which contain special characters such as delimiter, quotechar or any of the characters in lineterminator.
• csv.QUOTE_NONNUMERIC - Specifies the reader object that the CSV file has quotes around the non-numeric entries.
• csv.QUOTE_NONE - Specifies the reader object that none of the entries have quotes around them.

Dialects in CSV module

Notice in Example 4 that we have passed multiple parameters (quoting and skipinitialspace) to the csv.reader() function.

This practice is acceptable when dealing with one or two files. But it will make the code more redundant and ugly once we start working with multiple CSV files with similar formats.

As a solution to this, the csv module offers dialect as an optional parameter.

Dialect helps in grouping together many specific formatting patterns like delimiter, skipinitialspace, quoting, escapechar into a single dialect name.

It can then be passed as a parameter to multiple writer or reader instances.

Example 5: Read CSV files using dialect

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" "A878"| "Alfonso K. Hamby"| "[email protected]" "F854"| "Susanne Briard"| "[email protected]" "E833"| "Katja Mauer"| "[email protected]" 

The CSV file has initial spaces, quotes around each entry, and uses a | delimiter.

Instead of passing three individual formatting patterns, let's look at how to use dialects to read this file.

 import csv csv.register_dialect('myDialect', delimiter='|', skipinitialspace=True, quoting=csv.QUOTE_ALL) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, dialect='myDialect') for row in reader: print(row) 

Output

 ('ID', 'Name', 'Email') ("A878", 'Alfonso K. Hamby', '[email protected]') ("F854", 'Susanne Briard', '[email protected]') ("E833", 'Katja Mauer', '[email protected]') 

From this example, we can see that the csv.register_dialect() function is used to define a custom dialect. It has the following syntax:

 csv.register_dialect(name(, dialect(, **fmtparams))) 

The custom dialect requires a name in the form of a string. Other specifications can be done either by passing a sub-class of Dialect class, or by individual formatting patterns as shown in the example.

While creating the reader object, we pass dialect='myDialect' to specify that the reader instance must use that particular dialect.

The advantage of using dialect is that it makes the program more modular. Notice that we can reuse 'myDialect' to open other files without having to re-specify the CSV format.

Read CSV files with csv.DictReader()

The objects of a csv.DictReader() class can be used to read a CSV file as a dictionary.

Example 6: Python csv.DictReader()

Suppose we have a CSV file (people.csv) with the following entries:

Name	Age	Profession
Jack	23	Doctor
Miller	22	Engineer

Let's see how csv.DictReader() can be used.

 import csv with open("people.csv", 'r') as file: csv_file = csv.DictReader(file) for row in csv_file: print(dict(row)) 

Output

 ('Name': 'Jack', ' Age': ' 23', ' Profession': ' Doctor') ('Name': 'Miller', ' Age': ' 22', ' Profession': ' Engineer') 

As we can see, the entries of the first row are the dictionary keys. And, the entries in the other rows are the dictionary values.

Here, csv_file is a csv.DictReader() object. The object can be iterated over using a for loop. The csv.DictReader() returned an OrderedDict type for each row. That's why we used dict() to convert each row to a dictionary.

Notice that we have explicitly used the dict() method to create dictionaries inside the for loop.

 print(dict(row)) 

Note: Starting from Python 3.8, csv.DictReader() returns a dictionary for each row, and we do not need to use dict() explicitly.

The full syntax of the csv.DictReader() class is:

 csv.DictReader(file, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds) 

To learn more about it in detail, visit: Python csv.DictReader() class

Using csv.Sniffer class

The Sniffer class is used to deduce the format of a CSV file.

The Sniffer class offers two methods:

• sniff(sample, delimiters=None) - This function analyses a given sample of the CSV text and returns a Dialect subclass that contains all the parameters deduced.

An optional delimiters parameter can be passed as a string containing possible valid delimiter characters.

• has_header(sample) - This function returns True or False based on analyzing whether the sample CSV has the first row as column headers.

Let's look at an example of using these functions:

Example 7: Using csv.Sniffer() to deduce the dialect of CSV files

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" A878| "Alfonso K. Hamby"| "[email protected]" F854| "Susanne Briard"| "[email protected]" E833| "Katja Mauer"| "[email protected]" 

Let's look at how we can deduce the format of this file using csv.Sniffer() class:

 import csv with open('office.csv', 'r') as csvfile: sample = csvfile.read(64) has_header = csv.Sniffer().has_header(sample) print(has_header) deduced_dialect = csv.Sniffer().sniff(sample) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, deduced_dialect) for row in reader: print(row) 

Output

 True ('ID', 'Name', 'Email') ('A878', 'Alfonso K. Hamby', '[email protected]') ('F854', 'Susanne Briard', '[email protected]') ('E833', 'Katja Mauer', '[email protected]') 

As you can see, we read only 64 characters of office.csv and stored it in the sample variable.

This sample was then passed as a parameter to the Sniffer().has_header() function. It deduced that the first row must have column headers. Thus, it returned True which was then printed out.

De même, sample a également été passé à la Sniffer().sniff()fonction. Il a renvoyé tous les paramètres déduits sous forme de Dialectsous - classe qui a ensuite été stockée dans la variable deduced_dialect.

Plus tard, nous avons rouvert le fichier CSV et transmis la deduced_dialectvariable en tant que paramètre à csv.reader().

Il a été en mesure de prédire correctement delimiter, quotinget les skipinitialspaceparamètres dans le office.csv fichier sans nous les mentionner explicitement.

Remarque: Le module csv peut également être utilisé pour d'autres extensions de fichier (comme: .txt ) tant que leur contenu est dans la bonne structure.

Lecture recommandée: écrire dans des fichiers CSV en Python