Develop Reference

Python socket not receiving bytes of data from server - python

The following is my code for server and client. The client receives the first 4 bytes telling the length of the data block, which is then received by the client from the server. Once received, it performs certain calculations and writes it into the file and then receives the next 4 bytes to get the next block and so on.
After the first time of running the loop and writing into the file, it fails to receives the next 4 bytes and hence comes out of the loop. Not sure why this is happening. Please let me know where am I going wrong.
Thank you in advance!
Server code
import socket
import threading
import os
def Main():
host = '127.0.0.1'
port = 5009
s = socket.socket()
s.bind((host,port))
s.listen(5)
print("Server started")
while True:
c,addr = s.accept()
print("Client connected ip:<" + str(addr) + ">")
c.sendall('1685 2020/03/02 14:42:05 318397 4 1 25 0 0 0 0 1513,094 1516,156 1519,154 1521,969 1525,029 1527,813 1530,921 1533,869 1536,740 1539,943 1542,921 1545,879 1548,843 1551,849 1554,760 1557,943 1560,782 1563,931 1566,786 1569,751 1572,690 1575,535 1578,638 1581,755 1584,759 41 39 33 39 48 44 49 55 61 58 64 55 68 74 68 59 57 74 61 68 58 64 54 47 46 2 25 0 0 0 0 1512,963 1515,935 1518,857 1521,849 1524,655 1527,577 1530,332 1533,233 1536,204 1539,488 1542,571 1545,725 1549,200 1552,430 1555,332 1558,484 1561,201 1564,285 1567,001 1569,870 1572,758 1575,491 1578,512 1581,547 1584,405 48 43 37 42 57 54 59 62 67 58 71 59 77 82 82 64 71 88 77 79 72 73 63 49 50 3 25 0 0 0 0 1513,394 1516,517 1519,536 1522,082 1525,428 1527,963 1531,288 1534,102 1536,659 1539,757 1542,707 1545,627 1548,389 1551,459 1554,406 1557,986 1560,667 1564,103 1567,036 1570,144 1573,189 1575,888 1579,185 1582,323 1585,338 35 36 32 37 57 58 61 64 75 73 70 62 61 62 59 51 52 64 58 62 70 70 64 54 55 4 25 0 0 0 0 1512,658 1515,752 1518,797 1521,707 1524,744 1527,627 1530,871 1534,002 1537,086 1540,320 1543,217 1546,010 1548,660 1551,385 1554,253 1557,074 1560,193 1563,116 1566,043 1568,963 1571,855 1574,957 1577,954 1581,128 1584,273 43 42 39 40 56 50 56 62 65 54 59 62 75 79 73 63 67 77 73 75 68 62 54 51 51 100 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN'.encode())
c.sendall('1685 2020/03/03 14:42:05 318398 4 1 25 0 0 0 0 1513,094 1516,156 1519,154 1521,969 1525,029 1527,812 1530,921 1533,869 1536,740 1539,943 1542,922 1545,878 1548,843 1551,849 1554,760 1557,944 1560,782 1563,931 1566,786 1569,751 1572,691 1575,535 1578,638 1581,755 1584,758 41 39 33 39 48 44 49 55 61 58 64 55 68 74 68 59 57 74 61 68 58 64 54 47 46 2 25 0 0 0 0 1512,963 1515,935 1518,857 1521,849 1524,655 1527,577 1530,332 1533,233 1536,204 1539,489 1542,571 1545,725 1549,200 1552,430 1555,331 1558,484 1561,201 1564,285 1567,002 1569,870 1572,758 1575,491 1578,512 1581,547 1584,405 48 43 37 42 57 54 58 62 67 58 70 59 77 82 82 64 71 88 77 79 72 73 63 49 50 3 25 0 0 0 0 1513,394 1516,517 1519,536 1522,082 1525,427 1527,963 1531,288 1534,102 1536,659 1539,757 1542,707 1545,627 1548,389 1551,459 1554,406 1557,986 1560,666 1564,103 1567,036 1570,144 1573,190 1575,887 1579,185 1582,323 1585,338 34 35 32 37 57 58 61 64 75 73 70 62 61 61 59 51 52 64 58 62 70 70 64 54 55 4 25 0 0 0 0 1512,658 1515,753 1518,797 1521,707 1524,744 1527,627 1530,872 1534,002 1537,086 1540,320 1543,217 1546,011 1548,660 1551,385 1554,253 1557,074 1560,193 1563,116 1566,043 1568,963 1571,855 1574,957 1577,953 1581,129 1584,273 43 42 39 40 56 50 56 62 65 54 59 62 75 79 73 63 67 77 73 75 68 62 54 51 51 100 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN'.encode())
c.sendall('1685 2020/03/04 14:42:05 318398 4 1 25 0 0 0 0 1513,094 1516,156 1519,154 1521,969 1525,029 1527,812 1530,921 1533,869 1536,740 1539,943 1542,922 1545,878 1548,843 1551,849 1554,760 1557,944 1560,782 1563,931 1566,786 1569,751 1572,691 1575,535 1578,638 1581,755 1584,758 41 39 33 39 48 44 49 55 61 58 64 55 68 74 68 59 57 74 61 68 58 64 54 47 46 2 25 0 0 0 0 1512,963 1515,935 1518,857 1521,849 1524,655 1527,577 1530,332 1533,233 1536,204 1539,489 1542,571 1545,725 1549,200 1552,430 1555,331 1558,484 1561,201 1564,285 1567,002 1569,870 1572,758 1575,491 1578,512 1581,547 1584,405 48 43 37 42 57 54 58 62 67 58 70 59 77 82 82 64 71 88 77 79 72 73 63 49 50 3 25 0 0 0 0 1513,394 1516,517 1519,536 1522,082 1525,427 1527,963 1531,288 1534,102 1536,659 1539,757 1542,707 1545,627 1548,389 1551,459 1554,406 1557,986 1560,666 1564,103 1567,036 1570,144 1573,190 1575,887 1579,185 1582,323 1585,338 34 35 32 37 57 58 61 64 75 73 70 62 61 61 59 51 52 64 58 62 70 70 64 54 55 4 25 0 0 0 0 1512,658 1515,753 1518,797 1521,707 1524,744 1527,627 1530,872 1534,002 1537,086 1540,320 1543,217 1546,011 1548,660 1551,385 1554,253 1557,074 1560,193 1563,116 1566,043 1568,963 1571,855 1574,957 1577,953 1581,129 1584,273 43 42 39 40 56 50 56 62 65 54 59 62 75 79 73 63 67 77 73 75 68 62 54 51 51 100 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN'.encode())
c.sendall('1685 2020/03/05 14:42:05 318398 4 1 25 0 0 0 0 1513,094 1516,156 1519,154 1521,969 1525,029 1527,812 1530,921 1533,869 1536,740 1539,943 1542,922 1545,878 1548,843 1551,849 1554,760 1557,944 1560,782 1563,931 1566,786 1569,751 1572,691 1575,535 1578,638 1581,755 1584,758 41 39 33 39 48 44 49 55 61 58 64 55 68 74 68 59 57 74 61 68 58 64 54 47 46 2 25 0 0 0 0 1512,963 1515,935 1518,857 1521,849 1524,655 1527,577 1530,332 1533,233 1536,204 1539,489 1542,571 1545,725 1549,200 1552,430 1555,331 1558,484 1561,201 1564,285 1567,002 1569,870 1572,758 1575,491 1578,512 1581,547 1584,405 48 43 37 42 57 54 58 62 67 58 70 59 77 82 82 64 71 88 77 79 72 73 63 49 50 3 25 0 0 0 0 1513,394 1516,517 1519,536 1522,082 1525,427 1527,963 1531,288 1534,102 1536,659 1539,757 1542,707 1545,627 1548,389 1551,459 1554,406 1557,986 1560,666 1564,103 1567,036 1570,144 1573,190 1575,887 1579,185 1582,323 1585,338 34 35 32 37 57 58 61 64 75 73 70 62 61 61 59 51 52 64 58 62 70 70 64 54 55 4 25 0 0 0 0 1512,658 1515,753 1518,797 1521,707 1524,744 1527,627 1530,872 1534,002 1537,086 1540,320 1543,217 1546,011 1548,660 1551,385 1554,253 1557,074 1560,193 1563,116 1566,043 1568,963 1571,855 1574,957 1577,953 1581,129 1584,273 43 42 39 40 56 50 56 62 65 54 59 62 75 79 73 63 67 77 73 75 68 62 54 51 51 100 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN'.encode())
c.close()
if __name__ == '__main__':
Main()
Client code
import socket
import turtle
from tkinter import *
root = Tk()
canvas = Canvas(root, width = 150, height = 50)
canvas.grid(row = 4, column = 3)
input_label = Label(root, text = "Input all the gratings set straight wavelength values in nm")
input_label.grid(row = 0)
# Green light
green_light = turtle.RawTurtle(canvas)
green_light.shape('circle')
green_light.color('grey')
green_light.penup()
green_light.goto(0,0)
# Red light
red_light = turtle.RawTurtle(canvas)
red_light.shape('circle')
red_light.color('grey')
red_light.penup()
red_light.goto(40,0)
core_string = "Core "
entries = []
label_col_inc = 0
entry_col_inc = 1
core_range = range(1, 5)
for y in core_range:
core_text = core_string + str(y) + '_' + '25'
core_label = Label(root, text = core_text)
entry = Entry(root)
core_label.grid(row=1, column=label_col_inc, sticky=E)
entry.grid(row=1, column=entry_col_inc)
entries.append(entry)
label_col_inc += 2
entry_col_inc += 2
threshold_label = Label(root, text = "Threshold in nm")
entry_threshold = Entry(root)
threshold_label.grid(row = 2, sticky = E)
entry_threshold.grid(row = 2, column = 1)
#dataNo_label = Label(root, text = "Number of data to be collected")
#entry_datNo = Entry(root)
#dataNo_label.grid(row = 3, sticky = E)
#entry_datNo.grid(row = 3, column = 1)
# function to receive TCP data blocks
def getData():
host = '127.0.0.1'
port = 5009
s = socket.socket()
s.connect((host, port))
len_message = s.recv(4)
print('len_msg is', len_message)
# input of the number of data to be received
#dataNo = float(entry_datNo.get())
while len_message:
bytes_length = int.from_bytes(len_message,'big')
data = s.recv(bytes_length)
stringdata = data.decode('utf-8')
rep_str = stringdata.replace(",", ".")
splitstr = rep_str.split()
# received wavelength values
inc = 34
wav_threshold = []
for y in entries:
straight_wav = float(y.get())
print('y is', straight_wav)
wav = float(splitstr[inc])
wav_diff = wav - straight_wav
if wav_diff < 0:
wav_diff = wav_diff * (-1)
wav_threshold.append(wav_diff)
inc += 56
threshold = float(entry_threshold.get())
# writing into the file
data = []
inc1 = 0
col1 = 2
col2 = 6
data.insert(0, (str(splitstr[0])))
data.insert(1, (str(splitstr[1])))
for x in wav_threshold:
if (x > threshold):
red_light.color('red')
green_light.color('grey')
data.insert(col1, (str(splitstr[34 + inc1])))
data.insert(col2,(str(x)))
else:
red_light.color('grey')
green_light.color('green')
data.insert(col1,'-')
data.insert(col2,'-')
inc1 += 56
col1 += 1
col2 += 1
write_file(data)
print('writing...')
len_message = s.recv(4)
print('len_message is', len_message)
print('out of loop')
s.close()
# function to write into the file
def write_file(data):
with open("Output.txt", "a") as text_file:
text_file.write('\t'.join(data[0:]))
text_file.write('\n')
data_button = Button(root, text = "Get data above threshold", command = getData)
data_button.grid(row = 5, column = 0)
root.mainloop()
The same server code works fine with the following Client code:
import socket
def Main():
host = '127.0.0.1'
port = 5001
s = socket.socket()
s.connect((host,port))
i = 0
first_wav = float(input("Enter the threshold for 1-25: "))
second_wav = float(input("Enter the threshold for 2-25: "))
third_wav = float(input("Enter the threshold for 3-25: "))
fourth_wav = float(input("Enter the threshold for 4-25: "))
len_message = s.recv(4)
while len_message:
print(len_message)
while i < 2:
bytes_length = int(len_message.decode())
data = s.recv(bytes_length)
stringdata = data.decode('utf-8')
rep_str = stringdata.replace(",",".")
splitstr = rep_str.split()
maxlength = len(splitstr))
print('1-25 wavelength value:', splitstr[34])
print('2-25 wavelength value:', splitstr[90])
print('3-25 wavelength value:', splitstr[146])
print('3-25 wavelength value:', splitstr[202], '\n')
print('Threshold limit check:')
a = float(splitstr[34])
b = float(splitstr[90])
c = float(splitstr[146])
d = float(splitstr[202])
if a > first_wav:
print('1-25 Above Threshold')
if b > second_wav:
print('2-25 Above Threshold')
if c > third_wav:
print('3-25 Above Threshold')
if d > fourth_wav:
print('4-45 Above Threshold \n')
len_message = s.recv(4)
i+=1
print('i is', i)
else:
print('out of loop')
s.close()
def write_file(data):
with open("Output.txt", "ab") as text_file:
text_file.write(data)
print('data written')
text_file.write('\n'.encode())
def write_excel(data):
df = pd.DataFrame(data)
df.to_excel('Output_Excel.xlsx','Sheet 1')
if __name__ == '__main__':
Main()
´´´

Related

I have the following code below. I am trying to concatenate columns together and fill an empty dataframe 'emptyframe'.
The idea is that I start with 3 columns, then add on another 3 columns, then another 3 colums etc...
emptyframe = pd.DataFrame()
for j in range(0,len(df.columns)):
newdata = pd.concat((newdf.loc[:,j],happydf.loc[:,j],motivedf.loc[:,j]),axis=1)
emptyframe = pd.concat(newdata,emptyframe)
print(emptyframe)
However, the following code gives me the error 'first argument must be an iterable of pandas objects, you passed an object of type "DataFrame"'.
As an example:
newdata = pd.concat((newdf.loc[:,0],happydf.loc[:,0],motivedf.loc[:,0]),axis=1)
Gives me:
0 0 0
0 NaN NaN NaN
1 NaN NaN NaN
2 NaN NaN NaN
3 NaN NaN NaN
4 NaN NaN NaN
5 fullMiss 37 66
6 nearMiss 33 67
7 hit 75 60
8 fullMiss 36 63
9 hit 74 42
10 nearMiss 19 45
11 fullMiss 24 28
12 fullMiss 13 20
13 nearMiss 2 9
14 fullMiss 8 9
15 fullMiss 3 4
16 nearMiss 52 5
17 fullMiss 49 2
18 fullMiss 52 3
19 fullMiss 52 0
20 hit 50 10
21 nearMiss 59 3
22 hit 52 2
23 fullMiss 54 4
24 nearMiss 35 1
25 fullMiss 49 0
26 nearMiss 51 13
27 fullMiss 54 9
28 nearMiss 53 4
I would be so grateful for a helping hand!
As an example, the first 10 lines of 'newdf':
0 1 2 3 4 5 6 ... 71 72 73 74 75 76 77
0 NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN
1 NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN
2 NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN
3 NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN
4 NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN
5 fullMiss fullMiss fullMiss fullMiss fullMiss hit fullMiss ... fullMiss fullMiss nearMiss nearMiss fullMiss nearMiss fullMiss
6 nearMiss nearMiss nearMiss nearMiss nearMiss fullMiss nearMiss ... nearMiss nearMiss hit fullMiss hit fullMiss nearMiss
7 hit hit hit fullMiss fullMiss nearMiss fullMiss ... hit hit fullMiss hit fullMiss hit fullMiss
8 fullMiss fullMiss hit fullMiss fullMiss fullMiss fullMiss ... fullMiss nearMiss fullMiss nearMiss nearMiss fullMiss nearMiss
9 hit fullMiss hit nearMiss nearMiss fullMiss fullMiss ... nearMiss nearMiss hit hit fullMiss nearMiss fullMiss
happydf:
0 1 2 3 4 5 6 7 8 9 10 11 12 13 ... 64 65 66 67 68 69 70 71 72 73 74 75 76 77
0 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
1 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
2 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
3 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
4 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
5 37 31 48 32 17 70 6 3 22 52 20 99 51 29 ... 3 51 52 50 18 28 22 52 35 36 1 9 4 20
6 33 42 39 35 34 8 15 0 23 49 67 50 50 29 ... 49 50 41 43 54 39 35 35 16 68 0 89 0 62
7 75 75 65 36 52 20 4 0 28 100 34 49 47 28 ... 97 42 100 43 20 36 100 43 23 28 99 21 30 35
8 36 63 70 33 53 1 5 50 7 18 29 1 64 74 ... 50 46 50 45 19 72 58 30 48 12 3 54 0 38
9 74 32 58 35 30 16 8 49 83 50 30 1 51 39 ... 48 39 31 39 12 37 42 59 18 68 88 12 5 33
motivedf
0 1 2 3 4 5 6 7 8 9 10 11 12 13 ... 64 65 66 67 68 69 70 71 72 73 74 75 76 77
0 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
1 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
2 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
3 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
4 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
5 66 50 65 62 17 35 46 95 51 72 51 0 56 24 ... 79 26 82 25 76 25 69 51 86 15 71 66 2 60
6 67 44 60 51 40 67 46 49 52 74 50 0 58 26 ... 85 24 48 24 77 34 62 64 66 50 63 70 4 64
7 60 58 67 39 45 52 48 0 52 95 53 0 51 24 ... 83 11 66 28 76 28 90 63 45 23 71 53 55 50
8 63 44 67 34 52 0 48 53 52 50 53 0 55 41 ... 51 10 28 28 51 72 65 62 50 0 62 50 4 62
9 42 44 58 28 50 69 52 50 52 49 51 1 53 32 ... 39 0 52 45 35 16 45 64 31 15 69 39 3 49

I used the 'append' function to solve this issue:
emptyframe = pd.DataFrame()
for j in range(0,len(df.columns)):
newdata = pd.concat((newdf.iloc[:,j],happydf.iloc[:,j],motivedf.iloc[:,j]),axis=1)
emptyframe = emptyframe.append(newdata)
print(emptyframe)
:)

Input :
Expected Output :
LEVEL LEVEL-1 LEVEL-2 LEVEL-3 LEVEL-4 LEVEL-5 LEVEL-6 Value Result Explanation
0 1 A01 NaN NaN NaN NaN NaN 10 550 = I3 + H2
1 2 NaN A011 NaN NaN NaN NaN 20 540 = I4 + H3
2 3 NaN NaN AO111 NaN NaN NaN 30 520 = I5 + H4
3 4 NaN NaN NaN A01111 NaN NaN 40 490 = I6 + i9 + H5
4 5 NaN NaN NaN NaN AO11111 NaN 50 180 = I8 + I7 + H6
5 6 NaN NaN NaN NaN NaN AO111111 60 60 = H7
6 6 NaN NaN NaN NaN NaN AO111112 70 70 = H8
7 5 NaN NaN NaN NaN AO11112 NaN 80 270 = I11+I10+H9
8 6 NaN NaN NaN NaN NaN AO111121 90 90 = H10
9 6 NaN NaN NaN NaN NaN AO111122 100 100 = H11
Explanation:
I have to get the Result column on the basis of Explanation Column. This Explanation column is made on basis Tree type. For example AO111121 & AO111122 are children's of its immediate parent AO11112 so AO11112 = AO111121 + AO111122 + AO11112 accordingly.

You could do
# Consolidating nodes and finding parents
df["Node"] = df["LEVEL-1"]
for level in range(2, 7):
col, last_col = df[f"LEVEL-{level}"], df[f"LEVEL-{level - 1}"]
df.loc[col.notna(), "Node"] = col
df.loc[col.notna(), "Parent"] = last_col.ffill()
df = df.drop(columns=[col for col in df.columns if col.startswith("LEVEL-")])
# Identifying childs
df = df.merge(
df.Node.groupby(df.Parent).apply(set).rename("Childs"),
left_on="Node", right_on="Parent", how="left"
)
# Recursively adding up results
def result(childs):
return df.loc[df.Node.isin(childs), "Result"].sum()
df["Result"] = df.Value
for level in range(5, 0, -1):
add_results = df.loc[df.LEVEL.eq(level), "Childs"].map(result)
df.loc[df.LEVEL.eq(level), "Result"] += add_results
Result for df
LEVEL LEVEL-1 LEVEL-2 LEVEL-3 LEVEL-4 LEVEL-5 LEVEL-6 Value Result_exp
0 1 A01 NaN NaN NaN NaN NaN 10 550
1 2 NaN A011 NaN NaN NaN NaN 20 540
2 3 NaN NaN AO111 NaN NaN NaN 30 520
3 4 NaN NaN NaN A01111 NaN NaN 40 490
4 5 NaN NaN NaN NaN AO11111 NaN 50 180
5 6 NaN NaN NaN NaN NaN AO111111 60 60
6 6 NaN NaN NaN NaN NaN AO111112 70 70
7 5 NaN NaN NaN NaN AO11112 NaN 80 270
8 6 NaN NaN NaN NaN NaN AO111121 90 90
9 6 NaN NaN NaN NaN NaN AO111122 100 100
is
LEVEL Value Result_exp Node Parent Childs Result
0 1 10 550 A01 NaN {A011} 550
1 2 20 540 A011 A01 {AO111} 540
2 3 30 520 AO111 A011 {A01111} 520
3 4 40 490 A01111 AO111 {AO11111, AO11112} 490
4 5 50 180 AO11111 A01111 {AO111111, AO111112} 180
5 6 60 60 AO111111 AO11111 NaN 60
6 6 70 70 AO111112 AO11111 NaN 70
7 5 80 270 AO11112 A01111 {AO111122, AO111121} 270
8 6 90 90 AO111121 AO11112 NaN 90
9 6 100 100 AO111122 AO11112 NaN 100
Be aware that in the dataframe you've provided you're using 0 and O inconsistently.

I have two dataframes
dt AAPL AMC AMZN ASO ATH ... SPCE SRNE TH TSLA VIAC WKHS
0 2021-04-12 36 28 6 20 1 ... 5 0 0 50 23 0
1 2021-04-13 46 15 5 16 6 ... 5 0 0 122 12 1
2 2021-04-14 12 4 1 5 2 ... 2 0 0 39 1 0
3 2021-04-15 30 23 3 14 2 ... 15 0 0 101 9 0
dt AAPL AMC AMZN ASO ATH ... SPCE SRNE TH TSLA VIAC WKHS
0 2021-04-12 41 28 4 33 10 ... 5 0 0 56 14 3
1 2021-04-13 76 22 7 12 29 ... 4 0 0 134 8 2
2 2021-04-14 21 15 2 7 16 ... 2 0 0 61 3 0
3 2021-04-15 54 43 9 2 31 ... 16 0 0 83 13 1
I want to remove numbers from two dataframe that are lower than 10 if the instance is deleted from one dataframe the same cell should be remove in another dataframe same thing goes other way around
Appreciate your help

Use a mask:
## pre-requisite
df1 = df1.set_index('dt')
df2 = df2.set_index('dt')
## processing
mask = df1.lt(10) | df2.lt(10)
df1 = df1.mask(mask)
df2 = df2.mask(mask)
output:
>>> df1
AAPL AMC AMZN ASO ATH SPCE SRNE TH TSLA VIAC WKHS
dt
2021-04-12 36 28.0 NaN 20.0 NaN NaN NaN NaN 50 23.0 NaN
2021-04-13 46 15.0 NaN 16.0 NaN NaN NaN NaN 122 NaN NaN
2021-04-14 12 NaN NaN NaN NaN NaN NaN NaN 39 NaN NaN
2021-04-15 30 23.0 NaN NaN NaN 15.0 NaN NaN 101 NaN NaN
>>> df2
AAPL AMC AMZN ASO ATH SPCE SRNE TH TSLA VIAC WKHS
dt
2021-04-12 41 28.0 NaN 33.0 NaN NaN NaN NaN 56 14.0 NaN
2021-04-13 76 22.0 NaN 12.0 NaN NaN NaN NaN 134 NaN NaN
2021-04-14 21 NaN NaN NaN NaN NaN NaN NaN 61 NaN NaN
2021-04-15 54 43.0 NaN NaN NaN 16.0 NaN NaN 83 NaN NaN

I want the values to ffill() in S0.0,S1.0,S2.0 within the 'ID' group
ID Close S0.0 S1.0 S2.0
0 UNITY 11.66 NaN 54 NaN
1 UNITY 11.55 56 NaN NaN
2 UNITY 11.59 NaN NaN 78
3 TRINITY 11.69 47 NaN NaN
4 TRINITY 11.37 NaN 69 NaN
5 TRINITY 11.89 NaN NaN 70
intended result:
ID Close S0.0 S1.0 S2.0
0 UNITY 11.66 NaN 54 NaN
1 UNITY 11.55 56 54 NaN
2 UNITY 11.59 56 54 78
3 TRINITY 11.69 47 NaN NaN
4 TRINITY 11.37 47 69 NaN
5 TRINITY 11.89 47 69 70
Here are my attempts and their undesired outcomes:
Attempt 1:
df[df['S0.0']==""] = np.NaN
df[df['S1.0']==""] = np.NaN
df[df['S2.0']==""] = np.NaN
df['S0.0'].groupby('ID').fillna(method='ffill', inplace = True)
df['S1.0'].groupby('ID').fillna(method='ffill', inplace = True)
df['S2.0'].groupby('ID').fillna(method='ffill', inplace = True)
output:
raise KeyError(gpr)
KeyError: 'ID'
Attempt 2:
df.groupby('ID')[['S0.0', 'S1.0', 'S2.0']].ffill()
#this makes no difference to the data.
#but when I try this:
df = df.groupby('ID')[['S0.0', 'S1.0', 'S2.0']].ffill()
df
Output:
S0.0 S1.0 S2.0
NaN 54 NaN
56 54 NaN
56 54 78
47 NaN NaN
47 69 NaN
47 69 70
which again is not what I wanted. Little help will be appreciated.
THANKS!

UPDATE
The second attempt is the right one! Just don't specify the Sx.0's columns.
id = df.ID
df = pd.concat([id,df.groupby('ID').ffill()],axis=1)
output:
ID Close S0.0 S1.0 S2.0
0 UNITY 11.66 NaN 54.0 NaN
1 UNITY 11.55 56.0 54.0 NaN
2 UNITY 11.59 56.0 54.0 78.0
3 TRINITY 11.69 47.0 NaN NaN
4 TRINITY 11.37 47.0 69.0 NaN
5 TRINITY 11.89 47.0 69.0 70.0

Just do:
df[['S0.0', 'S1.0', 'S2.0']] = df.groupby('ID')[['S0.0', 'S1.0', 'S2.0']].ffill()
print(df)
Output
Close S0.0 S1.0 S2.0
0 11.66 NaN 54.0 NaN
1 11.55 56.0 54.0 NaN
2 11.59 56.0 54.0 78.0
3 11.69 47.0 NaN NaN
4 11.37 47.0 69.0 NaN
5 11.89 47.0 69.0 70.0

We have a dataframe 'A' with 5 columns, and we want to add the rolling mean of each column, we could do:
A = pd.DataFrame(np.random.randint(100, size=(5, 5)))
for i in range(0,5):
A[i+6] = A[i].rolling(3).mean()
If however 'A' has column named 'A', 'B'...'E':
A = pd.DataFrame(np.random.randint(100, size=(5, 5)), columns = ['A', 'B',
'C', 'D', 'E'])
How could we neatly add 5 columns with the rolling mean, and each name being ['A_mean', 'B_mean', ....'E_mean']?

try this:
for col in df:
A[col+'_mean'] = A[col].rolling(3).mean()
Output with your way:
0 1 2 3 4 6 7 8 9 10
0 16 53 9 16 67 NaN NaN NaN NaN NaN
1 55 37 93 92 21 NaN NaN NaN NaN NaN
2 10 5 93 99 27 27.0 31.666667 65.000000 69.000000 38.333333
3 94 32 81 91 34 53.0 24.666667 89.000000 94.000000 27.333333
4 37 46 20 18 10 47.0 27.666667 64.666667 69.333333 23.666667
and Output with mine:
A B C D E A_mean B_mean C_mean D_mean E_mean
0 16 53 9 16 67 NaN NaN NaN NaN NaN
1 55 37 93 92 21 NaN NaN NaN NaN NaN
2 10 5 93 99 27 27.0 31.666667 65.000000 69.000000 38.333333
3 94 32 81 91 34 53.0 24.666667 89.000000 94.000000 27.333333
4 37 46 20 18 10 47.0 27.666667 64.666667 69.333333 23.666667

Without loops:
pd.concat([A, A.apply(lambda x:x.rolling(3).mean()).rename(
columns={col: str(col) + '_mean' for col in A})], axis=1)
A B C D E A_mean B_mean C_mean D_mean E_mean
0 67 54 85 61 62 NaN NaN NaN NaN NaN
1 44 53 30 80 58 NaN NaN NaN NaN NaN
2 10 59 14 39 12 40.333333 55.333333 43.0 60.000000 44.000000
3 47 25 58 93 38 33.666667 45.666667 34.0 70.666667 36.000000
4 73 80 30 51 77 43.333333 54.666667 34.0 61.000000 42.333333