Как реализовать этот случай с помощью функции apply в пандах?

Question

Как реализовать этот случай с помощью функции apply в пандах?

1

У меня есть следующий код для получения IP-информации:

import requests
import json
import pandas as pd
import swifter  

def get_ip(ip):
    response = requests.get ("http://ip-api.com/json/" + ip.rstrip())
    geo = response.json()
    location = {'lat': geo.get('lat', ''),
                'lon': geo.get('lon', ''),
                'region': geo.get('regionName', ''),
                'city': geo.get('city', ''),
                'org': geo.get('org', ''),
                'country': geo.get('countryCode', ''),
                'query': geo.get('query', '')
                }
    return(location)

Чтобы применить его ко всему массиву данных IP (df), я использую следующее:

df=pd.DataFrame(['85.56.19.4','188.85.165.103','81.61.223.131'])

for lab,row in df.iterrows():
    dip = get_ip(df.iloc[lab][0])
    try:
        ip.append(dip["query"])
        private.append('no')
        country.append(dip["country"])
        city.append(dip["city"])
        region.append(dip["region"])
        organization.append(dip["org"])
        latitude.append(dip["lat"])
        longitude.append(dip["lon"])
    except:
        ip.append(df.iloc[lab][0])
        private.append("yes")

Однако, поскольку iterrows очень медленный, и мне нужно больше производительности, я хочу использовать swiftapply, что является расширением функции apply. Я использовал это:

def ip(x):
    dip = get_ip(x)
    if (dip['ip']=='private')==True:
        ip.append(x)
        private.append("yes")
    else:
        ip.append(dip["ip"])
        private.append('no')
        country.append(dip["country"])
        city.append(dip["city"])
        region.append(dip["region"])
        organization.append(dip["org"])
        latitude.append(dip["lat"])
        longitude.append(dip["lon"])

df.swifter.apply(ip)

И я получаю следующую ошибку: AttributeError: ("Объект" Серии "не имеет атрибута" rstrip "," произошел с индексом 0 ")

Как я могу это исправить?

Javier López Tomás 26 сен. 2018, в 16:09

Источник

0

rstrip() - это функция, которая работает только со строками. Кажется, вы используете его с ip.rstrip() объектом, но я не уверен, где ( ip.rstrip() - единственное вхождение rstrip() , а ip , скорее всего, строка)
rdimaio 26 сен. 2018, в 14:12

Теги:

python

pandas

loops

apply

1 ответ

Ещё вопросы

rstrip() - это функция, которая работает только со строками. Кажется, вы используете его с ip.rstrip() объектом, но я не уверен, где ( ip.rstrip() - единственное вхождение rstrip() , а ip , скорее всего, строка)

vealkind · Accepted Answer · 2018-09-26T11-35-00.000Z

rstrip - операция строки. Чтобы применить операцию строки к серии Series вы должны сначала вызвать функцию str в серии, которая позволяет выполнять операции векторизованных строк в Series.

В частности, в вашем коде изменения ip.rstrip() на ip.str.rstrip() должны разрешить ваш AttributeError.

После того, как копаться немного выясняется requests.get операции, которую вы пытаетесь выполнить не может быть векторизации в pandas (см Использование Python запросов для нескольких URLS в dataframe). Я взломал следующее, которое должно быть немного более эффективным, чем использование iterrows. Что делает следующее: np.vectorize используется для запуска функции для получения информации для каждого IP-адреса. Вход в местоположение сохраняется как новые столбцы в новом DataFrame.

Во-первых, я изменил вашу функцию get_ip чтобы вернуть словарь location, а не (location).

Затем я создал функцию векторизации, используя np.vectorize:

vec_func = np.vectorize(lambda url: get_ip(url))

Наконец, vec_func применяется к df для создания нового DataFrame, который объединяет df с выводом местоположения из vec_func где df[0] - столбец с вашими URL-адресами:

new_df = pd.concat([df, pd.DataFrame(vec_func(df[0]), columns=["response"])["response"].apply(pd.Series)], axis=1)

Приведенный выше код возвращает ответ API в виде словаря для каждой строки в вашем DataFrame, а затем сопоставляет словарь с столбцами в DataFrame. В итоге ваш новый DataFrame будет выглядеть так:

                0      lat     lon     region      city             org country           query
0      85.56.19.4  37.3824 -5.9761  Andalusia   Seville   Orange Espana      ES      85.56.19.4
1  188.85.165.103  41.6561 -0.8773     Aragon  Zaragoza  Vodafone Spain      ES  188.85.165.103
2   81.61.223.131  40.3272 -3.7635     Madrid   Leganés    Vodafone Ono      ES   81.61.223.131

Надеемся, что это устраняет ошибку InvalidSchema и дает вам немного лучшую производительность, чем iterrows().

Изменяя его, я получаю еще одну ошибку: InvalidSchema: («Не найдено адаптеров соединения для« ip_address ipapi ..., dtype: object »», «произошло с индексом 0») Я следовал решениям по этой [ссылке] ( stackoverflow. ru / questions / 15115328 /… ) и я все еще получаю сообщение об ошибке.
Можете ли вы предоставить полный URL, который вызывает эту новую ошибку?
Конечно. ( «Не найдено адаптеров соединения для 'ip_address h ttp: //ip-api.com/json/85.56.19.4 \ nName: 0, dtype: object'", 'произошло с индексом 0' ) PS: я поставил пробел между ч и т, чтобы не получить ссылку
@ JavierLópezTomás - я обновил ответ с помощью обхода ошибки InvalidSchema . Надеюсь, это поможет. Я многому научился, изучая это!
Спасибо за ваш ответ. Я измерил время как на своем ноутбуке, так и на сервере для кадра данных из 100 IP-адресов. В моем ноутбуке ваш предложенный метод на 1 секунду (1 мин против 1 мин 1 с) медленнее, чем iterrows, а на сервере - на 0,4 с медленнее (49,7 с против 49,3 с)
Я проверил, и только функция get_ip занимает также 1 минуту, поэтому, возможно, ваш предложенный метод лучше, но все же не заметен, потому что основная проблема - это get_ip.
@ JavierLópezTomás - Да, и, к сожалению, как я заметил, request.get requests.get() - это не операция, которую вы можете векторизовать. Каждый URL должен быть представлен индивидуально, что означает, что в запросе и ответе API будет некоторая задержка, которая будет сочетаться с каждым отдельным запросом API.