Skip to content
GitLab
Explore
Sign in
Primary navigation
Search or go to…
Project
T
tp2_hachage
Manage
Activity
Members
Labels
Plan
Issues
Issue boards
Milestones
Wiki
Code
Merge requests
Repository
Branches
Commits
Tags
Repository graph
Compare revisions
Snippets
Build
Pipelines
Jobs
Pipeline schedules
Artifacts
Deploy
Releases
Package registry
Model registry
Operate
Environments
Terraform modules
Monitor
Incidents
Analyze
Value stream analytics
Contributor analytics
CI/CD analytics
Repository analytics
Model experiments
Help
Help
Support
GitLab documentation
Compare GitLab plans
GitLab community forum
Contribute to GitLab
Provide feedback
Keyboard shortcuts
?
Snippets
Groups
Projects
Show more breadcrumbs
Samuel Nguyen
tp2_hachage
Commits
cc6b19b5
Commit
cc6b19b5
authored
4 months ago
by
Samuel Nguyen
Browse files
Options
Downloads
Patches
Plain Diff
Partie 2 finie. A retravailler
parent
7881f86a
No related branches found
No related tags found
No related merge requests found
Changes
5
Show whitespace changes
Inline
Side-by-side
Showing
5 changed files
.idea/.name
+1
-0
1 addition, 0 deletions
.idea/.name
.idea/misc.xml
+4
-1
4 additions, 1 deletion
.idea/misc.xml
.idea/tp2_hachage.iml
+1
-1
1 addition, 1 deletion
.idea/tp2_hachage.iml
tp_2_miso_dict.py
+54
-10
54 additions, 10 deletions
tp_2_miso_dict.py
tp_2_miso_mphf.py
+119
-118
119 additions, 118 deletions
tp_2_miso_mphf.py
with
179 additions
and
130 deletions
.idea/.name
0 → 100644
+
1
−
0
View file @
cc6b19b5
tp_2_miso_dict.py
\ No newline at end of file
This diff is collapsed.
Click to expand it.
.idea/misc.xml
+
4
−
1
View file @
cc6b19b5
<?xml version="1.0" encoding="UTF-8"?>
<?xml version="1.0" encoding="UTF-8"?>
<project
version=
"4"
>
<project
version=
"4"
>
<component
name=
"ProjectRootManager"
version=
"2"
project-jdk-name=
"Python 3.10"
project-jdk-type=
"Python SDK"
/>
<component
name=
"Black"
>
<option
name=
"sdkName"
value=
"Python 3.12"
/>
</component>
<component
name=
"ProjectRootManager"
version=
"2"
project-jdk-name=
"Python 3.12"
project-jdk-type=
"Python SDK"
/>
</project>
</project>
\ No newline at end of file
This diff is collapsed.
Click to expand it.
.idea/tp2_hachage.iml
+
1
−
1
View file @
cc6b19b5
...
@@ -2,7 +2,7 @@
...
@@ -2,7 +2,7 @@
<module
type=
"PYTHON_MODULE"
version=
"4"
>
<module
type=
"PYTHON_MODULE"
version=
"4"
>
<component
name=
"NewModuleRootManager"
>
<component
name=
"NewModuleRootManager"
>
<content
url=
"file://$MODULE_DIR$"
/>
<content
url=
"file://$MODULE_DIR$"
/>
<orderEntry
type=
"
inheritedJdk
"
/>
<orderEntry
type=
"
jdk"
jdkName=
"Python 3.12"
jdkType=
"Python SDK
"
/>
<orderEntry
type=
"sourceFolder"
forTests=
"false"
/>
<orderEntry
type=
"sourceFolder"
forTests=
"false"
/>
</component>
</component>
<component
name=
"PyDocumentationSettings"
>
<component
name=
"PyDocumentationSettings"
>
...
...
This diff is collapsed.
Click to expand it.
tp_2_miso_dict.py
+
54
−
10
View file @
cc6b19b5
...
@@ -2,6 +2,7 @@ import matplotlib.pyplot as plt
...
@@ -2,6 +2,7 @@ import matplotlib.pyplot as plt
import
numpy
as
np
import
numpy
as
np
import
time
import
time
import
sys
import
sys
import
statistics
#pour faire la moyenne des temps d'insertion pour chaque facteur de charge
...
@@ -21,13 +22,38 @@ def experiment_load_factor(load_factors : list):
...
@@ -21,13 +22,38 @@ def experiment_load_factor(load_factors : list):
Les nombres de réallocations de mémoire
Les nombres de réallocations de mémoire
Les tailles de mémoire occupée par le dictionnaire pour chaque facteur de charge
Les tailles de mémoire occupée par le dictionnaire pour chaque facteur de charge
"""
"""
# Initialisation
insertion_times
=
[]
insertion_times
=
[]
num_resizes
=
[]
num_resizes
=
[]
sizes
=
[]
sizes
=
[]
for
factor
in
load_factors
:
for
factor
in
load_factors
:
dictio
=
{}
dictio
=
{}
# num_elements = .......... QUESTION 2 PARTIE 2
num_resize
=
0
return
[],[],[]
last_size
=
sys
.
getsizeof
(
dictio
)
num_elements
=
int
(
factor
*
100
)
tempsecoules
=
[]
for
i
in
range
(
num_elements
)
:
cle
=
'
cle
'
+
str
(
i
)
start_time
=
time
.
time
()
dictio
[
cle
]
=
i
end_time
=
time
.
time
()
tempsecoule
=
end_time
-
start_time
tempsecoules
.
append
(
tempsecoule
)
current_size
=
sys
.
getsizeof
(
dictio
)
if
current_size
>
last_size
:
num_resize
+=
1
last_size
=
current_size
size
=
sys
.
getsizeof
(
dictio
)
insertion_time
=
statistics
.
mean
(
tempsecoules
)
insertion_times
.
append
(
insertion_time
)
num_resizes
.
append
(
num_resize
)
sizes
.
append
(
size
)
return
insertion_times
,
num_resizes
,
sizes
def
experiment_longest
():
def
experiment_longest
():
"""
"""
...
@@ -50,14 +76,32 @@ def visualisation(load_factors, insertion_times, num_resizes, sizes, frequencies
...
@@ -50,14 +76,32 @@ def visualisation(load_factors, insertion_times, num_resizes, sizes, frequencies
"""
"""
Visualisation des résultats
Visualisation des résultats
"""
"""
num_elements
=
[]
for
factor
in
load_factors
:
num_elements
.
append
(
factor
*
100
)
# Temps d'insertion en fonction du facteur de charge
# Temps d'insertion en fonction du facteur de charge
plt
.
plot
(
load_factors
,
insertion_times
)
plt
.
xlabel
(
'
Facteur de charge
'
)
plt
.
xticks
(
load_factors
,
[
str
(
x
)
for
x
in
load_factors
],
rotation
=
45
)
plt
.
ylabel
(
"
Temps d
'
insertion (secondes)
"
)
plt
.
title
(
"
Temps d
'
insertion en fonction du facteur de charge
"
)
plt
.
savefig
(
"
temps_d_insertion.png
"
)
# Nombre de réallocations de mémoire en fonction du facteur de charge
# Nombre de réallocations de mémoire en fonction du facteur de charge
plt
.
plot
(
load_factors
,
num_resizes
)
plt
.
xlabel
(
'
Facteur de charge
'
)
plt
.
xticks
(
load_factors
,
[
str
(
x
)
for
x
in
load_factors
],
rotation
=
45
)
plt
.
ylabel
(
"
Nombre de réallocations de mémoire
"
)
plt
.
title
(
"
Nombre de réallocations de mémoire en fonction du facteur de charge
"
)
plt
.
savefig
(
"
nombre_reallocations.png
"
)
# Taille de mémoire occupée en fonction du nombre d'éléments
# Taille de mémoire occupée en fonction du nombre d'éléments
plt
.
plot
(
sizes
,
num_elements
)
plt
.
xlabel
(
"
Nombre d
'
éléments
"
)
plt
.
xticks
(
num_elements
,
[
str
(
x
)
for
x
in
num_elements
],
rotation
=
45
)
plt
.
ylabel
(
"
Taille de mémoire occupée (octets)
"
)
plt
.
title
(
"
Taille de mémoire occupée en fonction du nombre d
'
éléments
"
)
plt
.
savefig
(
"
taille_memoire.png
"
)
# Deuxième étude
# Deuxième étude
f
=
list
()
f
=
list
(
frequencies
)
plt
.
figure
(
figsize
=
(
10
,
6
))
plt
.
figure
(
figsize
=
(
10
,
6
))
plt
.
bar
(
range
(
len
(
f
)),
f
)
plt
.
bar
(
range
(
len
(
f
)),
f
)
plt
.
xlabel
(
'
Temps d
\'
insertion (s)
'
)
plt
.
xlabel
(
'
Temps d
\'
insertion (s)
'
)
...
@@ -67,7 +111,7 @@ def visualisation(load_factors, insertion_times, num_resizes, sizes, frequencies
...
@@ -67,7 +111,7 @@ def visualisation(load_factors, insertion_times, num_resizes, sizes, frequencies
xticks
=
np
.
logspace
(
-
6
,
1
,
3
)
xticks
=
np
.
logspace
(
-
6
,
1
,
3
)
xtick_labels
=
[
f
'
{
x
:
.
1
e
}
'
for
x
in
xticks
]
xtick_labels
=
[
f
'
{
x
:
.
1
e
}
'
for
x
in
xticks
]
plt
.
xticks
(
xticks
,
xtick_labels
)
plt
.
xticks
(
xticks
,
xtick_labels
)
plt
.
savefig
(
'
histogramm
e.png
'
)
plt
.
savefig
(
'
deuxieme_etud
e.png
'
)
load_factors
=
[
0.01
,
0.1
,
0.2
,
0.3
,
0.4
,
0.5
,
0.6
,
0.7
,
0.8
,
0.9
,
1.0
]
load_factors
=
[
0.01
,
0.1
,
0.2
,
0.3
,
0.4
,
0.5
,
0.6
,
0.7
,
0.8
,
0.9
,
1.0
]
insertion_times
,
num_resizes
,
sizes
=
experiment_load_factor
(
load_factors
)
insertion_times
,
num_resizes
,
sizes
=
experiment_load_factor
(
load_factors
)
...
...
This diff is collapsed.
Click to expand it.
tp_2_miso_mphf.py
+
119
−
118
View file @
cc6b19b5
...
@@ -8,7 +8,6 @@ import random
...
@@ -8,7 +8,6 @@ import random
###### PARTIE 1 ######
###### PARTIE 1 ######
def
construction_mphf
(
set_kmer
,
n
,
gamma
=
2
,
nb_niveaux
=
3
):
def
construction_mphf
(
set_kmer
,
n
,
gamma
=
2
,
nb_niveaux
=
3
):
"""
"""
Construit une fonction de hachage minimale parfaite (MPHF) pour un ensemble de k-mers.
Construit une fonction de hachage minimale parfaite (MPHF) pour un ensemble de k-mers.
...
@@ -95,7 +94,7 @@ def construction_mphf(set_kmer, n, gamma=2, nb_niveaux=3):
...
@@ -95,7 +94,7 @@ def construction_mphf(set_kmer, n, gamma=2, nb_niveaux=3):
# On fait ces étapes car les collisions n'ont pas pu être placées avant,
# On fait ces étapes car les collisions n'ont pas pu être placées avant,
# on leur attribue un rang plus grand pour ne pas perturber l'ordre précédent
# on leur attribue un rang plus grand pour ne pas perturber l'ordre précédent
if
not
mphf
:
if
not
mphf
:
print
(
"
⚠️
Attention : MPHF vide, vérifiez les données en entrée.
"
)
print
(
"
Attention : MPHF vide, vérifiez les données en entrée.
"
)
return
mphf
return
mphf
...
@@ -184,7 +183,8 @@ def compare_taille(n_max, fichier_sortie):
...
@@ -184,7 +183,8 @@ def compare_taille(n_max, fichier_sortie):
tableau
,
mphf
=
create_hash_table
(
set_kmer
,
n
)
tableau
,
mphf
=
create_hash_table
(
set_kmer
,
n
)
n_values
.
append
(
n
)
n_values
.
append
(
n
)
table_size
.
append
(
sys
.
getsizeof
(
tableau
)
+
sys
.
getsizeof
(
mphf
))
# pourquoi ici on ne mesure pas juste la taille en mémoire du tableau ?
table_size
.
append
(
sys
.
getsizeof
(
tableau
)
+
sys
.
getsizeof
(
mphf
))
# pourquoi ici on ne mesure pas juste la taille en mémoire du tableau ?
# Car sys.getsizeof(tableau) ne mesure que la liste elle-même, pas les objets stockés dedans.
# Car sys.getsizeof(tableau) ne mesure que la liste elle-même, pas les objets stockés dedans.
# On veut mesurer la mémoire totale du système de hachage, pas seulement la liste.
# On veut mesurer la mémoire totale du système de hachage, pas seulement la liste.
dict_size
.
append
(
sys
.
getsizeof
(
set_kmer
))
dict_size
.
append
(
sys
.
getsizeof
(
set_kmer
))
...
@@ -199,6 +199,7 @@ def compare_taille(n_max, fichier_sortie):
...
@@ -199,6 +199,7 @@ def compare_taille(n_max, fichier_sortie):
plt
.
savefig
(
fichier_sortie
)
plt
.
savefig
(
fichier_sortie
)
plt
.
close
()
plt
.
close
()
# dé-commenter quand vous êtes prêts, expliquer les résultats
# dé-commenter quand vous êtes prêts, expliquer les résultats
compare_taille
(
10000
,
"
mphf.png
"
)
compare_taille
(
10000
,
"
mphf.png
"
)
...
...
This diff is collapsed.
Click to expand it.
Preview
0%
Loading
Try again
or
attach a new file
.
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Save comment
Cancel
Please
register
or
sign in
to comment