Olá, esse guia tem como objetivo apresentar algumas formas de tratamento de dados com a biblioteca pandas do Python, umas das mais utilizadas por profissionais na área de dados.
Primeiro, vamos fazer a importação das respectivas bibliotecas que utilizaremos
`
import pandas as pd
import matplotlib.pylab as plt

Agora, faremos a leitura da nossa base de dados

url= "https://cf-courses-data.s3.us.cloud-object-storage.appdomain.cloud/IBMDeveloperSkillsNetwork-DA0101EN-SkillsNetwork/labs/Data%20files/auto.csv"

Note que, ao fazermos a importação da base de dados, a mesma não tem cabeçalho, então para criar o cabeçalho faremos o processo abaixo:


Criacao do cabeçalho em uma lista com seus respectivos valores

cabecalho = ["symboling","normalized-losses","make","fuel-type","aspiration", "num-of-doors","body-style",
"drive-wheels","engine-location","wheel-base", "length","width","height","curb-weight","engine-type",
"num-of-cylinders", "engine-size","fuel-system","bore","stroke","compression-ratio","horsepower",
"peak-rpm","city-mpg","highway-mpg","price"]

Adicionando o cabeçalho ao dataset que não tem cabeçalho + leitura do dataset no formato csv

df = pd.read_csv(url, names = cabecalho)
`
Nesse exemplo, o valores pendentes vão estar como “?” (interrogação). Alguma dúvidas podem surgir: o que fazer com esses valores que não vieram ? Como tratar ? Posso deletar ? …

A resposta é: Depende.. Existe algumas técnicas que podemos utilizar:

• Apagar a coluna completa que está sem as informações;
• Apagar a linha completa que está sem as informações;
• Substituir os dados pela média/frequência/etc; Essas são algumas, existem várias outras forma de lidarmos com esses dados pendentes #Para visualizar alguns dados,usarmos o comando abaixo df.head() Note que, como havia informado anteriormente, alguns dados pendentes estão como “?” , agora, vamos substituir esses valores por NaN (Not a number)

`
import numpy as np

O comando abaixo substituirá ? por NaN;

O parâmetro inplace = True, salva as alterações realizadas no dataframe que estamos usando (df)

df.replace('?', np.nan, inplace = True)

Ao executar o head(), você notará que o símbolo de interrogação foi substituido por NaN

df.head()
`

Tratando (substituindo) os dados pendentes

No algoritmo abaixo, iremos substituir os valores NaN da coluna normalized-losses pela média, depois que convertermos para o tipo float

`avg_norm_loss = df["normalized-losses"].astype("float").mean(axis=0)
print("Média da normalized-losses:", avg_norm_loss)

substituir os valores NaN da coluna normalized-losses pela média

df["normalized-losses"].replace(np.nan, avg_norm_loss, inplace=True)
`

E assim podemos dar prosseguimento para todas as outras colunas que tiverem informações pendentes. Algumas dúvidas podem surgir, porque foi feita a conversão da normalized-losses para float ? A respota é: Normalized-losses é do tipo objetct, que seria semelhante a “string”, dessa forma não é possível realizarmos operações matemáticas nesse tipo de objeto, por isso fizemos a conversão.

`avg_bore=df['bore'].astype('float').mean(axis=0)
print("Média da bore:", avg_bore)

Substituindo valores NaN da coluna Bore pela média

df["bore"].replace(np.nan, avg_bore, inplace=True)

Substituindo valores NaN da coluna stroke pela média

stroke_mean = df['stroke'].astype('float').mean(axis=0)
df['stroke'].replace(np.nan, stroke_mean, inplace=True)
avg_horsepower = df['horsepower'].astype('float').mean(axis=0)

Substituindo os valores NaN da coluna 'horsepower' pela média

df['horsepower'].replace(np.nan, avg_horsepower, inplace=True)
`
No exemplo abaixo, vamos deletar todos os registros (linhas) que não tem dados da coluna price:

df.dropna(subset=["price"], axis=0, inplace=True)

Algumas informações que podem ser importantes:

• axis = 0 >> O zero refere-se as linha .. 1 refere-se as colunas
• inplace >> Salva as alterações realizadas no dataframe

Conversão de dados

Como já foi apresentado anteriormente, outra parte fundamental do tratamento dos dados são os tipos de dados na biblioteca pandas: object, float, int,datetime, etc. Afinal, não conseguimos calcular a média de uma variável do tipo string, certo ? Então, precisamos converter o seu data type para que isso seja possível.

Para analisarmos os tipos de dados em pandas, podemos usar a função dtype

`#Verificando o datype em python

Ela retornara o datatype de todas as variáveis (colunas) do nosso data frame

df.dtypes

Abaixo, realizamos a conversão dos data types para float, int e atribuimos a conversão a propria

variável para "salvar" as alterações. Passamos no parâmetro astype("valordavariável")

df[["bore", "stroke"]] = df[["bore", "stroke"]].astype("float")
df[["normalized-losses"]] = df[["normalized-losses"]].astype("int")
df[["price"]] = df[["price"]].astype("float")
df[["peak-rpm"]] = df[["peak-rpm"]].astype("float")`

Antes de fazer a conversão, sempre procure análisar o data type atual da variável com (dtypes) e analisar novamente após a conversão, para garantir que a alteração foi realizada com sucesso.

Esse foi um guia básico e prático de como trabalhar com tratamento de dados utilizando a biblioteca Python, as informações disponibilizadas aqui foram colhidas do curso de Análise de dados com Python — IBM da Cousera, recomendo a todos que estão estudando e procurando ampliar o seu conhecimento nessa área darem uma olhada ou até mesmo realizarem o curso, que apesar de básico é muito bom ! Obrigado a todos por lerem até aqui !

for column in missing_data.columns.values.tolist():
print(column)
print (missing_data[column].value_counts())
print("")