독서모임(나만의 시선찾기 2020)의 3번째 책 팩트풀니스.
팩트풀니스의 부제는 '우리가 세상을 오해하는 10가지 이유와 세상이 생각보다 괜찮은 이유'이다. tvN의 '책 읽어드립니다' 방송에서 설민석쌤이 잘 정리해줘서 책을 얼른 읽고 싶다는 동기부여가 된 상황이었다. 2월 독서모임이 끝나자마자 ebook으로 구매했다.
과연 어떤 이유로 세상이 괜찮다고 하는것일까? 하는 의구심 가득한 마음으로 한장 한장을 넘기면서 내가 세상을 왜곡해서 바라보고 있다는 것을 알게 되었다. 그 근거는 바로 검색하면 찾을 수 있는 데이터! 관심이 없어서 그렇지 우리 주변에는 데이터가 엄청 많다. 이 저자들은 독자들에게 세상을 제대로 보여주기 위해 데이터를 하나하나 찾고 잘 엮어서 우리 앞에 갖다 주었다.
이 책은 세상과 세상의 참 모습에 관한 이야기다. 그리고 독자에 관한 것이며 독자가 세상을 있는 그대로 보지 못하는 이유에 관한 것이다.
|
'팩트풀니스'에서 얻은 것!
1. 세상은 점점 나아지고 있다는 Fact!
다만 좋은 것보다 나쁜 것이 언론에서 더 많이 다뤄지게 되며, 그로 인해 공포가 생겨나고 세상이 점점 나빠지고 있다고 오해할 수 있다. 세상은 점점 나아지고 있으며, 많은 데이터가 이를 증명한다.
2. 오픈된 데이터에서 기회 발견하기
광고DMP(Data Management Platform)에서는 세그먼트가 화두였다면, 최근 CDP(Customer Data Platform)에 와서는 개인화된 데이터가 가치있다고 한다. 하지만 그것은 전략을 수립하는 경영자에게는 작게 느껴질 수 있다. 경영자가 봄직한 데이터는 세계에 널려있다.
세계적으로 1인당 출생아 수가 줄어들고 집밖에서 일하는 교육받는 여성이 늘어 생리대 시장이 폭발적으로 늘어나는 계기가 되었다. 그런데 서양 제조업체 대부분은 이런 점을 완전히 놓치고 있었다. (가장 발전한) 4단계 여성 3억명에게만 매몰된 채 거기서 새로운 욕구와 고객을 찾으려 했다. 반면 2,3단계 국가에서 생리를 하는 약 20억의 여성은 생리대를 선택할 여지가 거의 없다. 이들은 밖에서 일할 때 하루종일 갈지 않고 쓸 수 있는 믿을만 한고 값싼 패드를 원한다. 그런 제품을 찾을 수 있다면 아마도 평생 한 가지 상표만 고집하면서 딸에게도 같은 상품을 추천할 것이다.
이런 논리는 다른 소비재에 두루 적용할 수 있다. (원문 요약)
|
3. 데이터 분석을 가업으로 삼을 수 있다.
책의 내용도 내용이지만 가장 놀랐던 것은 아버지, 아들, 며느리가 함께 이 책을 썼다는 것이다. '데이터'라는 것으로 가업으로 할 수 있다니, 생각해보지 못한 것이어서인지 정말 신기했다.
데이터를 보는 사람이라면 꼭 읽기를.
앞부분은 세상에 대한 무지를 알려준다면, 뒤로 갈수록 데이터를 다루는 내 마음속에 유난히 꽂히는 문구들이 많이 있다. 2가지를 꼽자면 아래와 같다.
수치를 보되, 수치만 봐서는 안된다 세계를 수치없이 이해할 수 없지만, 수치만으로 이해할 수도 없다. 진짜 삶을 말해주는 수치를 사랑하라.
데이터에도 한계가 있다. 나는 데이터가 수치 이면의 현실, 즉 인간의 삶을 이해하는데 도움을 줄 때만 데이터를 좋아한다.
- 8장 단일관점 본능 -
데이터를 고집하라 무언가가 다급하고 중요하다면 잘 따져봐야한다. 관련은 있지만 부정확한 데이터, 정확하지만 관련이 없는 데이터를 조심하라. 관련이 있고 정확한 데이터만 쓸모가 있다. - 10장 다급함 본능-
|
작가가 말하는, 진짜 삶을 말해주는 수치는 특정 시점의 단면이 아닌 '(꽤 오랜시간의 점진적) 추이'이다. 매년 일어나는 작은 변화가 수십년 쌓이면 거대한 변화가 될 수 있다는 언급을 책에 여러번 강조한다. 그게 바로 수치를 보되, 수치만 봐서는 안된다는 내용이 아닐까.
'관련이 있고 정확한 데이터만 쓸모가 있다. '라는 말은 머신러닝, 딥러닝으로 많은 데이터를 다 때려 넣으면 기계가 알아서 데이터를 골라줄 것이라는 오해에 대해 일침을 놓는 것만 같은 문구이다.
전통적 통계에서는 변수간의 상관관계가 있으면 이는 다중공선성이 생기고, 이 다중공선성은 회귀식의 방향에도 영향을 줄 정도(=해석이 반대로 됨) 문제가 되니, 이를 꼭 제거해야한다는 입장인데, 최근 Data science 쪽에서는 이를 무시해도 된다는 사람들도 있다. (작가가 그것을 노리고 쓴 것은 아니겠지만 저 문구를 읽는 순간 후련함을 느꼈다. )
책을 읽는 꿀팁이 있다면?
나는 사실 너무 재밌게 읽었는데, 함께 독서모임에 참여하는 분은 잘 안읽혔다고 한다. 읽어본 사람으로서, 읽기 전에 알면 좋을 팁들을 공유해보고자 한다.
1. 머릿말~ 1장이 사실 거대한 하나의 챕터이다. 여기가 가장 중요한 내용인데 가장 길게 느껴진다. 첫날은 1장까지만 읽는다는 것을 목표로 해보자. 2장부터는 술술 읽혀질 것이다.
2. 머릿말에 13개의 문제가 있다. 그 문제를 풀어보고 내가 몇 개나 맞췄는지도 재밌지만, 뒤에 나오는 국가별 정답률도 재밌다. 우리는 한국 사람이니, 한국의 정답율이 왜 이렇게 나왔는지를 생각해보면서 읽는 것도 새로운 관전 포인트. (내용을 썼다가 스포일러가 될까봐 지웠다)
3. 성격이 급하거나, 정말 시간이 없는 사람이라면, 챕터마다 가장 마지막에 '사실충실성'이라고 언급한 부분만 읽어도 될 것이다. 작가가 가장 하고 싶었던 말이 요약되어 있어서, 그부분만 읽어도 요점은 파악할 수 있다. 하지만 본문을 읽어본다면 그 요약이 어떻게 나오게 된 것인지를 더 잘 이해할 것이다.
4. 두껍다고 생각할지 모르겠지만, 뒷쪽 100페이지 정도는 출처다. 그러니 겁내지말고 읽어볼 것을 권한다.
그럼에도 팩트풀니스의 내용이 궁금한 사람들을 위한 요약본!
이 책에 있는 10가지의 오해와 사실충실성 실천하기 총 11장을 읽는 것으로 끝나지 않고, 잘 정리해 놓고 싶었다. 매 챕터 마지막에 있는 사실충실성과 인상깊었던 사례 몇 가지를 기록해보고자 한다.
1. 간극 본능 - 세상을 둘로 나뉜다는 오해
세상을 가난한 나라와 부유한 나라라는 2개의 엉터리상자에 나눠 담음으로써 사람들 머릿속에서 세상의 모든 비율을 완전히 왜곡해버린다.
[간극본능을 갖게했던 과거 그래프와 현재 모습]
[네 단계의 소득수준 (2017년기준)]
단계 |
하루 수입 |
물 |
요리 방법 |
의료수준 |
교육수준 |
인구수 |
1단계 |
$1 |
맨발로 몇 시간 이동해서 얻음 |
땔감 |
항생제 못구해서 아이가 죽음. |
|
약 10억 |
2단계 |
$4 |
30분 |
가스렌지 (냉장고X) |
아프면 1단계로 추락가능 |
아이가 학교에 갈 수 있음 |
약 30억 |
3단계 |
$16 |
수도 설치 |
냉장고 있음 |
사고 당해도 2단계로 추락 안함 |
아이가 고등학교 진학 |
약 20억 |
4단계 |
$32 |
집에서 온/냉수사용가능 |
외식 가능 |
|
교육 12년 이상 |
약 20억 |
간극 본능을 억제하기 위해서는 분포 모양을 확인하는 것이 필요하다. (분산의 중요성)
- 평균 비교를 조심하라. 분산을 살펴본다면 겹치는 부분을 발견할 것이다. 그러면 둘 사이의 간극 따위는 없다는 걸 알 수 있다.
- 극단 비교를 조심하라.
- 위에서 내려다보는 시각을 경계해라 : 높은 건물 꼭대기에서 아래를 내려다보면 땅에 가까운 자그마한 건물들의 높이 차이를 식별하기 어렵듯, 4단계에서 사는 사람은 1,2,3단계에 있는 사람들이 모두 낮아 보이지만, 이들의 차이는 크다.
2. 부정 본능 : 좋은 것보다 나쁜 것에 더 주목하는 본능.
부정본능이 나타나는 이유
1. 과거를 잘못 기억하기 때문 : 기억은 대상을 미화한다.
2. 언론에서 사건을 선별적으로 보도 : 언론의 자유가 커지고 첨단 기술이 발달한 덕에 우리는 그 어느때보다 많은 재난 소식을 접한다.
3. 상황이 나쁜데 세상이 더 좋아진다고 말하면 냉정해보이기 때문
부정본능을 억제하는 방법
- 나아지지만 나쁘다 : 현 수준과 변화의 방향을 구별하는 연습이 필요하다. 상황은 나아지고 있지만 여전히 나쁠 수 있다.
- 좋은 소식은 뉴스가 안된다 : 좋은 소식은 거의 보도하지 않는다. 나쁜 소식을 볼 때면 같은 정도의 긍정적 소식이었다면 뉴스에 나왔을지 생각해보라.
- 점진적 개선은 뉴스가 안된다 : 점진적으로 개선되는 중에 문제가 나타난다면, 전반적 개선보다 그 문제를 주목할 가능성이 높다.
- 뉴스가 많이 나온다고해서 고통이 큰 것은 아니다 : 나쁜 뉴스가 많이 나오는 이유는 세상이 나빠져서가 아니라, 고통을 감시하는 능력이 좋아졌기 때문일 수 있다.
- 장밋빛 과거를 조심하라 : 사람들은 유년의 경험을, 국가는 자국 역사를 곧잘 미화한다.
[줄어드는 나쁜 것 16가지]
합법적노예제, 기름유출, 값비싼 태양광패널, HIV감염, 아동사망, 전쟁사망, 사형, 유연휘발유, 항공기사고사망, 아동노동, 재난사망, 핵무기, 천연두, 매연입자오존층파괴, 굶주림
[늘어나는 좋은 것 16가지]
새로나온 영화, 자연보호구역, 여성의 투표권, 새로나온 음악, 과학, 작황, 탈문맹, 올림픽 참여국가, 아동생존율, 여학생, 관찰대상종, 전기보급, 휴대전화, 물, 인터넷, 예방접종
3. 직선 본능 : 세계 인구는 증가할 뿐이라는 거대 오해
사실문제5. 오늘날 세계인구 중 0~15세 아동은 20억이다. UN이 예상하는 2100년의 이수치는 몇일까? (해답 그래프는 책에서 확인!)
인구가 크게 늘어나는 이유는 아이들이 더 태어나서가 아니다. 노인의 수명이 길어진 것도 주된 이유는 아니다. 사실, 유엔 전문가들은 2100년까지 세계 기대수명이 약 11년 늘어나 노인 인구가 10억 증가하고, 총 인구는 약 110억이 될 것으로 예상한다. 하지만 세계 인구가 크게 늘어나는 주된 이유는 지금의 아이들이 자라 성인이 30억 늘어남으로써 도표를 채우기 때문이다.
아이들의 생존율이 높아지면, 아이들을 노동에 동원할 필요가 없어지면, 여성이 교육받고 정보를 얻어 피임할 수 있으면, 문화와 종교에 상관없이 남성과 여성 모두 자녀를 적게 낳아 제대로 교육할 꿈을 꾸기 시작한다.
직선이라고 단정하지 마라. 많은 추세가 직선보다는 S자곡선이나 미끄럼틀 곡선, 낙타혹 곡선, 2배 증가 곡선으로 진행된다. 생구 6개월까지의 성장속도를 이후에도 유지하는 아이는 없으며, 그러리라 예상하는 부모도 없다.
- S자 곡선 : 탈문맹 여성 비율, 예방접종 비율, 냉장고 소유 비율
- 낙타 혹곡선 : 12세아동의 충치비율, 교통사고 사망비율, 아동익사 비율
- 2배 증가 곡선 : 연간 이동거리, 소득 중 차량/교통 지출비율, 이산화탄소 배출
4. 공포 본능 : 폭력, 감금, 오염을 두려워하는 본능 탓에 위험을 과대평가
공포본능을 억제하려면 위험성을 계산하라.
- 무서운 세계 : 세계는 실제보다 더 무서워보인다. 언론에 걸러진 무서운 것을 보고 듣기 때문이다.
- 위험성 = 실제 위험 * 노출 : 어떤 대상의 위험성은 우리가 느끼는 두려움이 아니라, 실제 위험과 그것에 노출되는 정도를 합쳐 결정한다.
- 실행하기 전에 진정하라 : 두려움을 느끼면 세상이 다르게 보인다. 공포가 진정될 때까지 가급적 결정을 유보하라.
5. 크기 본능 : 비율을 왜곡해(=크기를 오판해) 실제보다 부풀리는 경향
부정본능과 더불어 세상의 발전을 과소평가하게 만들었다. 자선단체와 언론이 자극적으로 보이는 숫자를 고통받는 개인의 모습과 함께 끊임없이 보여주다 보니 사람들은 왜곡된 시각으로 세계를 인식하고, 발전을 과소평가한다.
그러면서 일부 비율은 체계적으로 과대평가하기도 한다. 스웨덴에 이주한 사람의 비율, 동성애에 반대하는 사람의 비율 등이 그렇다.
- 비교하라: 큰 수는 항상 커보인다. 수치가 달랑 하나만 있으면 오판하기 쉬우니 의심해야한다. 항상 비교하라. 어떤 수로 나눠보면 더없이 좋다.
- 80/20 : 가장 큰 항목 몇 개를 찾아 그것부터 처리하라. 그 몇 개가 나머지를 모두 합친 것보다 더 중요할 가능성이 높다.
- 나눠라 : 총량과 비율은 완전히 다른 이야기다. 비율이 의미가 더 크다.
뉴스에 수치가 달랑 하나만 나오면 내 머릿속에는 항상 경보음이 울린다. 그 수를 무엇과 비교해야 할까? 그 수가 1년 전에는 어땠을까? 10년 전에는? 비교 가능한 나라나 지역은 어딜까? 어떤 수로 나눠야 할까? 1인당으로 환산하면 몇일까? 나는 이런 여러가지 비율을 비교한 뒤라야 그것이 정말 중요한 수인지 판단할 수 있다.
6. 일반화 본능 : 끊임없이 범주화하고 일반화하는 성향
간극본능은 세상을 '우리'와 '저들'로 나누고, 일반화 본능은 우리가 저들을 다 똑같은 사람으로 생각하게 한다.
일반화 본능을 억제하려면 내 범주에 의문을 제기하라.
- 집단 '내' 차이점을 찾아보라 : 집단이 클 때에는 더 작은 집단으로, 더 정확한 범주로 나눌 방법을 찾아보라.
- 집단 '간' 유사점을 찾아보라 : 서로 다른 집단 사이에서 매우 비슷한 점을 발견하면 내 범주가 적절한지 점검하라.
- 집단간 '차이점'을 찾아보라 : 한 집단에 해당하는 것이 다른 집단에 해당한다고 단정하지 마라.
제2차 세계대전 때 의사와 간호사는 의식을 잃고 들것에 실려온 군인 중 이를 보고 똑바로 누운 사람보다 바닥에 엎드린 사람의 생존율이 높다는 것을 발견했다. 엎드려 누우면 구토를 하더라도 기도에 틈이 생겨 질식할 위험이 적기 때문. 이 '회복자세'는 전세계에서 표준이 되어 지구상의 모든 응급조치 훈련에 빠지지 않고 등장했고, 아이까지 엎드려 재우기 시작했다. 하지만 홍콩의 의사들이 엎드린 자세가 영아 돌연사의 원인일 수 있다는 의견을 내 놓았고, 7년 후에야 스웨덴 당국은 실수를 인정하고 정책을 바꿨다.
|
- 다수에 주의하라 : 다수는 절반이 넘는다는 뜻일 뿐이다. 언급한 다수가 51%인지, 99%인지, 그 중간쯤인지 질문하라.
- 사람들은 바보가 아니라고 생각하라 : 어떤 방법이 이상해보이면 그것이 어떻게 현명한 해결책이 되는지 호기심을 갖고 겸손한 자세로 생각하라.
튀니지에서는 2층집을 짓다가 만 집을 쉽게 발견할 수 있다. 2,3단계에서는 저축을 하러 은행까지 가기 어렵고, 대출을 받을 수도 없는 경우가 많다. 그래서 여유가 생길 때마다 가치가 떨어지지 않는 벽돌을 산다. 그런데 집안에 벽돌을 쌓아둘 곳이 없고, 밖에 두면 도둑맞을 수도 있으므로 사는 족족 집에 붙인다. 그러면 도둑도 손대지 못한다. 물가가 상승해도 벽돌 가치는 변하지 않을 것이다. 또 10~15년동안 천천히 더 좋은 집을 짓는 효과도 있다.
|
7. 운명 본능 : 타고난 특성이 사람, 국가, 종교, 문화의 운명을 결정한다는 생각
운명본능을 억제하려면 더딘 변화도 변화라는 사실을 기억하라.
- 점진적 개선을 추적하라 : 매년 일어나는 작은 변화가 수십 년 쌓이면 거대한 변화가 될 수 있다.
- 지식을 업데이트하라 : 어떤 지식은 유통기한이 짧다. 기술, 국가, 사회, 문화, 종교는 끊임없이 변한다.
- 할아버지와 이야기해보라 : 가치가 어떻게 변했는지 알려면 조부모의 가치를 생각해보고 그것이 내 가치와 어떻게 다른지 비교해보라.
- 문화가 변한 사례를 수집하라 : 지금의 문화는 어제의 문화였고, 다시 내일의 문화가 될 것이라는 생각을 바꿔라.
8. 단일관점 본능 : 단일한 원인, 단일한 해결책을 선호하는 성향
단일관점 본능을 억제하려면 망치가 아닌 연장 통을 준비하라.
- 생각을 점검하라 : 내가 좋아하는 생각이 얼마나 우수한지를 보여주는 사례만 수집하지 마라. 나와 생각이 다른 사람에게 내 생각을 점검하게 하고, 내 생각의 단점을 찾게하라.
- 제한된 전문성 : 내 분야를 넘어서까지 전문성을 주장하지 마라. 내가 모르는 것에는 겸손하라.
- 망치와 못 : 모든 것에 사용하는 하나의 도구는 없다는 것을 명심하라. 내가 좋아하는 생각이 망치라면, 드라이버나 스패너 또는 줄자를 가진 동료를 찾아보라. 다른 분야의 생각도 마다하지 마라.
- 수치를 보되, 수치만 봐서는 안된다 : 진짜 삶을 말해주는 수치를 사랑하라.
- 단순한 생각과 단순한 해결책을 조심하라 : 복잡함을 끌어안아라. 여러 생각을 절충하라. 문제는 하나씩 사안별로 해결하라.
9. 비난 본능 : 왜 안좋은 일이 일어났는지 명확하고 단순한 이유를 찾으려는 본능
혐오스러운 모습과 참을수 없는 고통을 유발하는 질병은 장소에 따라 다른 이름으로 불렸다. 러시아에서는 폴란드 질병, 폴란드에서는 독일 질병, 돌일에서는 프랑스 질병, 프랑스에서는 이탈리아 질병이라고 불렀다.
우리에겐 비난할 사람이 필요하고 어떤 외국인 한명이 그 병을 옮겼다면, 그 외국인이 속한 나라를 주저없이 통째로 비난하곤 한다. 자세한 조사따윈 필요하지 않다.
|
코로나19를 처음에는 우한폐렴으로 불렀다가, 신종 코로나에 이어 이제는 코로나19로 이름이 바뀌었다. 지역명을 쓰는게 왜 안좋은지 몰랐었는데, 이 책을 읽고 나니 비난본능의 영향이 있겠구나 싶다.
비난 본능을 억제하려면 희생양을 찾으려는 생각을 버려라.
- 악당을 찾지 말고 원인을 찾아라 : 문제가 생기면 비난할 개인이나 집단을 찾지마라. 나쁜 일은 애초에 의도한 사람이 없어도 일어날 수 있다는 사실을 인정하라. 그리고 그 상황을 초래한 여러 원인이 얽힌 시스템을 이해하고 개선하는데 힘을 쏟아라.
- 영웅을 찾지 말고 시스템을 찾아라 : 어떤 사람이 자기 덕에 좋은 일이 생겼다고 주장하면, 그 사람이 아무것도 하지 않았어도 어떤 식으로든 그런 좋은 결과가 나왔을지 모른다고 생각하라. 그리고 시스템에도 어느정도 공을 돌려라.
10. 다급함 본능 : 위험이 임박했다고 느낄 때 즉각 행동하고 싶게 만듦
다급함 본능을 억제하려면 하나씩 차근차근 행동하라.
- 심호흡을 하라 : 다급함 본능이 발동하면 다른 본능도 깨어나 분석적 사고가 멈춰버린다. 일단 시간을 갖고 정보를 더 찾아보라. 지금 아니면 절대 안되는 경우는 없으며 이것 또는 저것인 경우도 거의 없다.
- 데이터를 고집하라 : 관련있고 정확한 데이터만 쓸모가 있다.
- 점쟁이를 조심하라 : 최선또는 최악의 시나리오뿐 아니라 가능한 한 모든 시나리오를 요청하라. 그 예측이 전에는 얼마나 정확했는지 물어보라.
- 극적 조치를 경계하라 : 어떤 부작용이 있을지 물어보고, 검증된 생각인지도 물어보라. 단계적이고 현실적인 개선과 그 영향력에 대한 평가는 극적이지 않지만 대개 효과가 더 크다.
11. 사실 충실성 실천하기
무엇보다 우리 아이들에게 겸손과 호기심을 가르쳐야 한다. 여기서 겸손이란 본능으로 사실을 올바르게 파악하기가 얼마나 어려운지 아는 것이고 지식의 한계를 솔직히 인정하는 것이다. ... 겸손하면 모든 것에 대해 내 견해가 있어야 한다는 압박감도 없고, 항상 내 견해를 옹호할 준비를 해야할 필요도 없어 마음이 편하다.
호기심이란 새로운 정보를 마다하지 않고 적극 받아들이는 자세를 말한다. ... 세계는 계속 변할 것이고, 무지한 어른의 문제는 다음 세대를 가르치는 것만으로 해결이 안된다. ... 그래서 어른의 지식도 계속 업데이트할 방법을 찾아야 한다.
마지막장에서 겸손과 호기심을 아이들에게 가르쳐야 할것이라고 소개했지만, 그것은 세상을 살아가는 모든 사람들이 가져야 할 자세를 에둘러서 표현한 것이라고 생각한다.
이 책은 정말 이 세상 모든 사람들이 봤으면 좋겠다. 우리가 어떤 오해를 하며 살아가고 있는지 제대로 알 수 있는 기회가 될 것이다. 책 머릿말 마지막 문구로 이 포스팅을 마무리하고자 한다.
우물 안에 계속 갇혀 살기 보다 올바르게 사는데 관심이 있다면, 세계관을 흔쾌히 바꿀 마음이 있다면, 본능적 반응 대신 비판적 사고를 할 준비가 되었다면, 겸손함과 호기심을 갖고 기꺼이 감탄하고자 한다면 이 책을 계속 읽어보기 바란다.
|
그래프들을 추가하고 싶은데, 방법을 고민중이다. ebook을 사진으로 찍으니 화질이 영 아니라서 ㅠㅠ
'낭만적(?) 일상 > 책과 영화' 카테고리의 다른 글
나만의 시선찾기 2020, 3번째 그룹콜 후기 (0) | 2020.03.28 |
---|---|
노션이 궁금하다면, '한권으로 끝내는 노션'을 보자! (1) | 2020.03.27 |
'나만의 시선찾기' 독서모임과 그룹콜 (2) | 2020.02.29 |
나에게 다가온, '다가오는 말들' - 은유 (0) | 2020.02.26 |
'무례한 세상 속에서 나를 지키는 법' 세미나 후기 (0) | 2020.02.17 |