전공할 시간

Evaluation Approaches for Unlearning AlgorithmsEfficiencydef. 언러닝 알고리즘 $ (\mathcal{U},C_\mathcal{U}) $의 efficiency이란 naive 제거 메커니즘 U*에 대한 제거 메커니즘 U의 상대적인 speed-up이다.$h^{\mathcal{U}}=\mathcal{U}(\mathcal{A}(D),D,D_u)$ : unlearned model$h^* = \mathcal{U^*}(\mathcal{A}(D), D, D_u)$ : naive retrained modelefficiency는 deletion 요청의 평균 값을 사용한다. Effectivenessdef. $(\mathcal{U},C_\mathcal{U})$의 effective..

Introduction널리 사용되는 기계학습 알고리즘 → 배치 혹은 online learning 방법을 사용하여 새로운 데이로부터 학습은 가능, 그러나 데이터 제거에는 효율적으로 adapt안됨.데이터 제거의 응용개인 정보 보호 관련 문제ex) EU’s GDPR(General Data Protection Regularization) - “잊혀질 권리”(개인에게 조직의 기록에서 데이터를 제거할 것을 요청할 수 있는 권리)제공공정성 및 데이터 품질 관련 문제데이터 수정편향 감소모델 설명 가능성모델 불확실성 정량화데이터 제거retraining지정된 데이터를 제거한 다음 나머지 데이터에서 모델을 처음부터 다시 학습효과적인 방법비효율적 - 큰 계산 비용unlearning훈련된 모델에서 하위 데이터의 정보를 재학습보..

이 글은 강화학습 스터디를 진행하면서 공부한 내용을 정리한 글이다. 마르코프 결정 프로세스(MDP) 강화학습에서 문제를 잘 정의하려면 주어진 문제를 MDP형태로 만들어야 한다. “순차적 의사 결정 문제”는 MDP 개념을 통해 더 정확하게 표현할 수 있다. 마르코프 결정 프로세스 개념은 마르코프 프로세스와 마르코프 리워드 프로세스를 거친다. 이들은 모두 마르코프 성질을 만족한다. 마르코프 성질(Markov Property) 다음을 만족하면 마르코프 성질을 따른다고 한다. $$ \mathbb{P}[\mathbf{s_{t+1}}|\mathbf{s_t}] = \mathbb{P}[\mathbf{s_{t+1}}|\mathbf{s_1, s_2, ...,s_t}] $$ 이는 미래는 오로지 현재에 의해 결정된다는 것을 ..

Introduction 이 논문은 이전 연구인 Matching Network와 비슷하게 구현된다. Matching Network [1] query set에 대한 class를 예측하기 위하여 어텐션 메커니즘을 사용하여 support set의 embedding 값을 학습한다. support set: 라벨이 주어진 데이터셋. support set으로 few-shot task를 위한 준비를 해놓는다(few-shot 학습을 한다). query set: 라벨이 주어지지 않은 데이터셋. support set을 통해 few-shot 학습을 하면, query point에 대해 class를 예측하고, query의 라벨과 비교하여 loss값을 계산한다. 학습할 때 랜덤 추출된 minibatch—episode라 함—를 사용한..

Introduction 1️⃣ one-shot learning이란? : test 데이터에 대한 예측을 하기 전에, 각 가능한 class당 하나의 example만 관찰할 수 있다는 제한 하에 분류를 할 수 있도록 모델을 학습하는 방법. 이 논문에서 소개하는 방법은 siamese neural networks를 사용하여 supervised metric-based 접근법을 통해 image representation하는 것이다. 이 방법을 통해 다시 학습하지 않고 모델의 feature를 다시 사용하여 one-shot learning를 구현할 수 있다. 이 논문에서는 (이미지 인식 중) 문자 인식에 국한되어 실험하였다. 이 도메인을 위해서 논문에서는 큰 siamese CNN을 사용하였다. 이 모델은 다음과 같은 장..

meta learning에 대해 공부하려고 Meta-Learning in Neural Networks: A Survey 논문을 참고하여 meta-learning의 개념과 어떤 방법들이 있는지 봤다. 후에는 관련 유명한 논문들을 하나씩 읽으면서 좀더 자세한 방법을 공부할 예정이다. 개념 지금까지의 머신러닝 모델은 손수 설계된 고정된 학습 알고리즘을 사용하여 특정한 task를 해결하기 위해 scratch로부터 학습된다. 반면 meta-learning은 관련된 task의 분포까지 커버할 수 있도록 많은 학습을 통해 얻은 경험을 이용하여 모델을 향상시킬 수 있게된다. meta-learning은 ‘학습하는 법을 학습’하는 방법으로 보통 이해되는데, 이는 많은 학습들(multiple learning episodes..