shepherd's Blog

1. 문제 발생 Iceberg table에 데이터를 쓰는 ETL에서 에러가 발생하고 있어 확인해 보니 trino에서 EXTERNAL_ERROR - HIVE_TABLE_LOCK_NOT_ACQUIRED 에러가 발생하고 있었다. 2. 선조치 해당 테이블에 write 작업을 할 수 없는 상태라 우선 해결 방법이 있나 구글링하는데, hive table lock을 수동으로 해제하는 명령이나 방법을 찾질 못했다. 해결할 방법을 찾던 중 hive가 metadata를 관리하기 위해 database를 사용했던 게 기억나 hive database에 접속해서 table 목록을 살펴봤다. 오 public.hive_locks table이 보여 조회를 해보니 문제가 발생한 테이블의 lock이 남아 있는 걸 확인했다. lock 관련..

spark streaming kafka에서 batch size 조절 옵션 df = ( stream_reader .option("maxOffsetsPerTrigger", "100000") .load() ) https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html